[論文レビュー] Simulation Experiment of BCI Based on Imagined Speech EEG Decoding

Kang Wang, Xueqian Wang+1 more|arXiv (Cornell University)|May 22, 2017

EEG and Brain-Computer Interfaces参考文献 10被引用数 8

ひとこと要約

本稿では、音声情報に依存せずに、EEG信号から文レベルの想起された発話（ imagined speech ）を復号する、新しいエンドツーエンドのディープラーニングフレームワークを提案する。EEGNetの変更版と接続主義的時系列分類（CTC）を統合することで、近似的に完璧に近い文字単位の編集距離を達成した合成想起発話EEGデータを効果的に復号した。これは、想起発話に基づく高容量のBCIを構築する可能性を示している。

ABSTRACT

Brain Computer Interface (BCI) can help patients of neuromuscular diseases restore parts of the movement and communication abilities that they have lost. Most of BCIs rely on mapping brain activities to device instructions, but limited number of brain activities decides the limited abilities of BCIs. To deal with the problem of limited ablility of BCI, this paper verified the feasibility of constructing BCI based on decoding imagined speech electroencephalography (EEG). As sentences decoded from EEG can have rich meanings, BCIs based on EEG decoding can achieve numerous control instructions. By combining a modified EEG feature extraction mehtod with connectionist temporal classification (CTC), this paper simulated decoding imagined speech EEG using synthetic EEG data without help of speech signal. The performance of decoding model over synthetic data to a certain extent demonstrated the feasibility of constructing BCI based on imagined speech brain signal.

研究の動機と目的

• 既存のBCIにおける制限された命令セットを改善するため、より豊富な通信能力を実現するための文レベルの想起発話復号を検討すること。
• 想起発話復号の過程でEEGデータのラベリングやセグメンテーションに音声信号に依存するのを回避し、リアルタイムかつ実用的なBCIアプリケーションの制限を克服すること。
• 時間的・周波数的・空間的EEG特徴を同時に抽出できるディープラーニングフレームワークを構築し、強固な文レベルの復号を実現すること。
• 脳活動データのみを用いてEEG信号から直接想起発話を解釈できるBCIシステムの実現可能性を検証すること。
• 将来の自然言語処理とEEGベースのBCIを統合する基盤を築くこと。

提案手法

• CNNベースの特徴抽出器の上に双方向RNNを追加することで、多チャンネルEEG信号から空間的・周波数的・時間的特徴を抽出する、変更版のEEGNetアーキテクチャを採用した。
• 強制アライメントや発音トランスクリプションを必要とせず、エンドツーエンドのシーケンス・ツー・シーケンス学習を可能にするために、接続主義的時系列分類（CTC）を適用した。
• 発音に対応する事前に記録されたEEGセグメントをランダムに選択・連結し、リアルさを高めるために平滑化処理を施すことで、合成想起発話EEGデータを生成した。
• 確率的勾配降下法を用いて合成データ上で交差エントロピー損失を最適化し、性能評価には文字単位の編集距離を用いた。
• 動的計画法を用いたグリーディデコードにより、テストEEG入力から最も確率の高い発音シーケンスを予測した。
• 訓練の多様性を高めるために、シーケンスラベルをランダムに延長し、それに該当するEEGセグメントを選択するデータ拡張を実施した。

実験結果

リサーチクエスチョン

• RQ1 音声信号や発音ラベルにアクセスしない状態で、ディープラーニングモデルがEEG信号から文レベルの想起発話を復号できるか？
• RQ2 RNNを統合した変更版EEGNetとCTCアーキテクチャが、合成想起発話EEGデータから時間的ダイナミクスをどれほど的確に捉え、意味のある特徴を抽出できるか？
• RQ3 シーケンスレベルの正確性において、モデルは未学習の合成テストサンプルにどれほど一般化できるか？
• RQ4 モデルが合成データ上で高い復号性能を達成できるかどうかが、想起発話に基づく実世界のBCIアプリケーションの実現可能性を示唆するか？
• RQ5 空間的・周波数的・時間的EEG特徴抽出を統合することで、想起発話シーケンスの全体的な復号精度にどのような影響を与えるか？

主な発見

• 200回の訓練イテレーション後、モデルは合成テストセットで文字単位の編集距離が0.009に達し、ほぼ完璧な復号性能を示した。
• 初期状態での文字単位の編集距離は0.869であったが、200イテレーション後には0.009に低下し、急速な収束と高い学習能力を示した。
• 最初の20個のテストサンプルに対する主観的評価では、復号シーケンスが正解ラベルに非常に近い結果となり、わずかな差異と余分なパディングゼロの他はほとんど一致していた。
• モデルは音声の監視なしに、複雑で非定常なEEG信号を意味のある発音シーケンスに正確にマッピングする能力を習得した。
• RNNとEEGNet、CTCの統合により、シーケンスレベルの復号に不可欠なEEGデータ内の時間的依存性を効果的にモデル化できた。
• 結果から、想起発話EEG信号から文レベルの意味的情報を抽出可能であることが示され、高容量BCIの実現可能性が裏付けられた。