[論文レビュー] Inner speech recognition through electroencephalographic signals

Francesca Gasparini, Elisa Cazzaniga+1 more|arXiv (Cornell University)|Oct 11, 2022

EEG and Brain-Computer Interfaces被引用数 11

ひとこと要約

本研究では、EEG信号を用いた内発語認識のための深層学習アプローチを提案し、BiLSTMネットワークを活用して生の多チャネルEEGデータから想起語を分類する。Thinking Out Loudデータセットにおいて平均正解率36.1%を達成し、既存の最先端手法を上回り、非侵襲的脳インターフェースにおける静的通信のためのエンドツーエンド生EEG入力とBiLSTMモデルの有効性を示している。

ABSTRACT

This work focuses on inner speech recognition starting from EEG signals. Inner speech recognition is defined as the internalized process in which the person thinks in pure meanings, generally associated with an auditory imagery of own inner "voice". The decoding of the EEG into text should be understood as the classification of a limited number of words (commands) or the presence of phonemes (units of sound that make up words). Speech-related BCIs provide effective vocal communication strategies for controlling devices through speech commands interpreted from brain signals, improving the quality of life of people who have lost the capability to speak, by restoring communication with their environment. Two public inner speech datasets are analysed. Using this data, some classification models are studied and implemented starting from basic methods such as Support Vector Machines, to ensemble methods such as the eXtreme Gradient Boosting classifier up to the use of neural networks such as Long Short Term Memory (LSTM) and Bidirectional Long Short Term Memory (BiLSTM). With the LSTM and BiLSTM models, generally not used in the literature of inner speech recognition, results in line with or superior to those present in the stateof-the-art are obtained.

研究の動機と目的

• 内発語をEEG信号を用いて解読する非侵襲的脳インターフェース（BCI）の開発を目的とする。
• 限られた公的データセットとノイズの多いデータセットによる内発語認識の分類精度が低いという課題に対処する。
• 公に利用可能な内発語EEGデータセットを用いて、多様な機械学習および深層学習モデルの性能を評価する。
• 手作業で特徴を抽出した特徴量と比較して、広範な特徴工学を施さない生EEGデータが、より優れた結果をもたらすかどうかを調査する。
• 最良のモデルの一般化性能が、異なる実験プロトコルおよびデータセット間でどのように保たれるかを検証する。

提案手法

• 本研究では、類似した実験プロトコルで収集された2つの公的内発語EEGデータセット、'Thinking Out Loud'および'Imagined Speech'を用いる。
• 全電極からの生多チャネルEEGデータを、事前の特徴選択や前処理によるバイアスを避けるために入力として使用する。
• BiLSTMニューラルネットワークアーキテクチャを採用し、BiLSTM層の後にReLU活性化関数を用いた2つの全結合層と、最終的なソフトマックス出力層を配置する。
• 過学習を軽減するためにドロップアウト層を適用し、モデルは確率的勾配降下法（SGD）を用いてカテゴリカル交差エントロピー損失関数で訓練する。
• SVM、XGBoost、LSTM、EEGNetといった従来のモデルと比較し、生データおよびパワースペクトル密度（PSD）や相対ウェーブレットエネルギー（RWE）といった抽出特徴量を用いて性能を評価する。
• 被験者ごとの性能を評価することで、個人間での変動と耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 生EEGデータを用いて訓練されたBiLSTMモデルは、従来のモデルと比較して、内発語認識においてより高い分類正解率を達成できるか？
• RQ2 特徴工学を施さない生多チャネルEEGデータを用いることで、PSD や RWE といった手作業特徴量を用いる場合と比較して性能が向上するか？
• RQ3 最良のモデルの性能は、類似したプロトコルで収集された異なる内発語データセット間でどのように一般化されるか？
• RQ4 特に正解率が低い被験者において、性能のばらつきを引き起こす要因は何か、特に注意散漫やタスク遂行への不適合ではなく、データ品質や電極配置の問題である可能性は何か？
• RQ5 モデルの性能が、多クラス内発語認識において、確率的レベルを上回り、最先端の結果をどの程度上回るか？

主な発見

• BiLSTMモデルは、全チャネルからの生EEGデータを用いて、Thinking Out Loudデータセットで平均正解率36.1%を達成し、25%の確率的レベルを著しく上回った。
• この性能は、SVM（26.2%）、XGBoost（27.9%）、LSTM（30.4%）の既存の最先端手法を上回り、同データセット上で顕著な優位性を示した。
• BiLSTMモデルは、Imagined Speechデータセットでも25.1%の正解率を達成し、16.7%の確率的レベルを上回ったことから、類似したデータセット間での一般化能力が確認された。
• 被験者4番と5番は一貫して低い性能（31.67%および33.67%）を示し、注意散漫やタスク遂行への不適合ではなく、データ品質や電極配置の問題が原因である可能性が示唆された。
• 全チャネルからの生EEGデータを用いることで、特徴工学を施した入力よりも優れた結果が得られたことから、BiLSTMによるより深い時系列モデリングが、より関連性の高い神経パターンを捉えられると示された。
• 本研究は、BiLSTMモデルがEEGからのエンドツーエンド内発語認識に有効であることを確認し、従来のモデルを上回り、リアルタイムBCIアプリケーションの実現に道を拓いた。