[論文レビュー] Review of the State-of-the-art on Bio-signal-based Brain-controlled Vehicles

Amin Hekmatmanesh, Pedro H. J. Nardelli+1 more|arXiv (Cornell University)|Jun 3, 2020

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、過去10年間におけるEEGおよび生体信号に基づく脳制御車両（BCV）および脳制御航空機（BCAV）の研究をレビューし、ERD/ERS、P300、SSVEPなどの神経パターンを用いた意思決定検出に焦点を当てる。機械学習手法、特にSVM、LDA、およびハイブリッドfNIRS-EEG融合が、正確性の向上と応答遅延の短縮に寄与しており、ドローンや自動車のリアルタイム制御が最大80％の正確性と2.3秒の遅延で達成されている。

ABSTRACT

Brain-controlled vehicle (BCV) is an already established technology usually designed for disabled patients. This review focuses on the most relevant topics on the brain controlling vehicles, especially considering terrestrial BCV (e.g., mobile car, car simulators, real car, graphical and gaming cars) and aerial BCV, also named BCAV (e.g., real quadcopter, drone, fixed wings, graphical helicopter and aircraft) controlled using bio-signals such as electroencephalogram (EEG), electrooculogram and electromyogram. For instance, EEG-based algorithms detect patterns from motor imaginary cortex area of the brain for intention detection, patterns like event related desynchronization/event related synchronization, state visually evoked potentials, P300, and generated local evoked potential patterns. We have identified that the reported best performing approaches employ machine learning and artificial intelligence optimization methods, namely support vector machine, neural network, linear discriminant analysis, k-nearest neighbor, k-means, water drop optimization and chaotic tug of war optimization optimization. We considered the following metrics to analyze the efficiency of the different methods: type and combination of bio-signals, time response, and accuracy values with the statistical analysis. The present work provides an extensive literature review of the key findings of previous ten years, indicating the future perspectives in the field.

研究の動機と目的

• 過去10年間における生体信号に基づく脳制御車両（BCV）および脳制御航空機（BCAV）分野における最新技術を体系的にレビューすること。
• 車両制御における意思決定検出に最も効果的な生体信号パターン（例：ERD/ERS、P300、SSVEP）および信号処理技術を同定すること。
• リアルタイム車両制御に向けた運動想起および認知状態分類のための機械学習およびAIベースのアルゴリズムの性能を評価すること。
• 応答時間、正確性、耐障害性などの主なパフォーマンス指標を、さまざまなBCVおよびBCAVシステムにおいて分析すること。
• 通信遅延、環境ノイズ、緊急ブレーキ検出などの未解決課題および今後の研究方向性を強調すること。

提案手法

• 2014年から2024年までのBCVおよびBCAVに関する研究を対象とした10年間の体系的文献レビュー（EEG、EOG、EMG、fNIRS信号を用いて）。
• 神経パターンに基づく制御パラダイムの分類：運動想起にはERD/ERS、視覚刺激にはSSVEP、イベント関連電位にはP300を適用。
• 特徴分類にSVM、LDA、k-NN、k-means、およびメタヒューリスティック最適化（例：ウォータードロップ法、カオス的タッグ・オブ・ウォー）を含む機械学習モデルの適用。
• EEG-fNIRSおよびEEG-EOGの組み合わせによるハイブリッド信号融合を実施し、信号の頑健性とコマンド分解能の向上を図った。
• 共有制御戦略（SCS）においてGPS、距離センサ、カメラなどの外部センサを統合し、リアルタイム意思決定および障害物回避の向上を図った。
• 応答遅延、分類正確性、結果の統計的有意性などの指標を用いて、リアルタイム性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 BCVおよびBCAVシステムにおけるドライバーの意思決定を検出するにあたり、どの生体信号パターン（例：ERD/ERS、P300、SSVEP）が最も効果的か？
• RQ2 SVM、LDA、ニューラルネットワークなどの機械学習およびAIベースの分類手法は、BCV/BCAV制御において正確性と応答時間の面でどのように比較されるか？
• RQ3 EEG-fNIRSやEEG-EOGなどの信号融合は、実世界の車両制御における制御分解能および耐障害性の向上にどのような影響を与えるか？
• RQ4 リアルタイムBCVおよびBCAVシステムにおける主なパフォーマンスのボトルネック、特に応答遅延と環境干渉に関しては何か？
• RQ5 外部センサデータを統合した共有制御戦略（SCS）は、障害物回避や緊急ブレーキなどの緊急事態において、安全性と信頼性をどのように向上させるか？

主な発見

• 最高のパフォーマンスを示したBCVおよびBCAVシステムは、ハイブリッド生体信号融合（例：EEG-fNIRS）とSVM、LDAなどの高度な機械学習モデルを組み合わせており、8種類のドローンコマンドに対して最大80％の分類正確性を達成している。
• リアルタイム制御における応答遅延は依然として重要な課題であり、fNIRSベースのシステムでは最大2.3秒の遅延が報告されているが、共有制御戦略（SCS）の導入により改善が見られた。
• EEGベースのシステムは、実際に動きが発生する0.5〜2秒前に運動意思を検出でき、特に緊急ブレーキ検出において早期干渉が可能となる。
• 複数の刺激タスク（例：心算、語彙形成）の使用により特徴空間が拡大され、マルチコプター制御における複雑なコマンドの分類が向上した。
• 制御環境下では高い正確性を示すものの、実世界応用では環境ノイズ、ストレス、疲労、個人差が顕著にシステムの頑健性を低下させる。
• 今後のシステムでは、遅延を低減し、高精度で安全かつ信頼性の高いBCV/BCAV運用を実現するため、5Gを超える通信インfraストラクチャ（Beyond-5G）の導入が不可欠である。