[論文レビュー] Converting Your Thoughts to Texts: Enabling Brain Typing via Deep Feature Learning of EEG Signals

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|Sep 26, 2017

EEG and Brain-Computer Interfaces参考文献 20被引用数 10

ひとこと要約

本論文では、脳チッピングのための頑健なEEG信号分類を実現するため、畳み込みニューラルネットワークと再帰ニューラルネットワーク（CNN-LSTM）を組み合わせたハイブリッドディープラーニングフレームワークに自動エンコーダーを統合した手法を提案する。モデルは公開のEEGデータセットで95.53%、実世界のデータセットで94.27%の精度を達成し、空間的・時間的特徴を効果的に捉え、アーチファクト由来のノイズを低減することで、最先端の手法を上回る性能を発揮した。

ABSTRACT

An electroencephalography (EEG) based Brain Computer Interface (BCI) enables people to communicate with the outside world by interpreting the EEG signals of their brains to interact with devices such as wheelchairs and intelligent robots. More specifically, motor imagery EEG (MI-EEG), which reflects a subjects active intent, is attracting increasing attention for a variety of BCI applications. Accurate classification of MI-EEG signals while essential for effective operation of BCI systems, is challenging due to the significant noise inherent in the signals and the lack of informative correlation between the signals and brain activities. In this paper, we propose a novel deep neural network based learning framework that affords perceptive insights into the relationship between the MI-EEG data and brain activities. We design a joint convolutional recurrent neural network that simultaneously learns robust high-level feature presentations through low-dimensional dense embeddings from raw MI-EEG signals. We also employ an Autoencoder layer to eliminate various artifacts such as background activities. The proposed approach has been evaluated extensively on a large- scale public MI-EEG dataset and a limited but easy-to-deploy dataset collected in our lab. The results show that our approach outperforms a series of baselines and the competitive state-of-the- art methods, yielding a classification accuracy of 95.53%. The applicability of our proposed approach is further demonstrated with a practical BCI system for typing.

研究の動機と目的

• モーターイメージネーション（MI-EEG）信号のEEG信号復号精度を向上させることで、リアルタイムの脳チッピングを可能にすること。
• EEG信号の低SN比、高次元性、被験者間のばらつきといった課題に対処すること。
• 生EEGデータ内の空間的および時間的依存関係を同時に捉える統合的ディープラーニングモデルの構築。
• オートエンコーダー層を用いてアーチファクトを除去することで、手動による特徴工学の依存度を低減し、耐障害性を向上させること。
• 公開および自社開発のEEGデータセットを用いたリアルタイムの脳チッピングシステムの実装を通じて、実用的応用の有効性を示すこと。

提案手法

• 生MI-EEG信号から階層的な空間的・時間的特徴を抽出するために、結合畳み込み再帰ニューラルネットワーク（CNN-LSTM）を用いる。
• CNN部は、複数の電極にわたるEEG信号から局所的な空間的パターンと高次元表現を学習する。
• LSTM部は、EEG信号ストリーム内の長距離時間的依存関係と順序的ダイナミクスをモデル化する。
• 入力EEG信号のノイズを低減し、背景ノイズや運動干渉などのアーチファクトを除去するために、オートエンコーダーを統合する。
• CNN-LSTMから得られるスタックされた特徴量をXGBoost分類器に供給し、意図認識と多クラス分類を実行する。
• 広範な手動による特徴工学やドメイン特化処理を伴わず、生EEGデータ上でエンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 生MI-EEG信号を効果的に復号し、高精度な多クラス脳チッピングを実現するディープラーニングフレームワークは可能か？
• RQ2 CNN、LSTM、オートエンコーダーの統合は、従来手法と比較して、どのように耐障害性と分類性能を向上させるか？
• RQ3 チャンネル数や記録条件が異なるさまざまなEEGデータセットに、モデルはどの程度一般化可能か？
• RQ4 電極配置や被験者の精神状態といった実世界の展開要因が、オンライン分類精度に及ぼす影響は何か？
• RQ5 最小限の被験者特化的適応で、本フレームワークは人間独立な状況でも高い性能を発揮できるか？

主な発見

• 提案フレームワークは、公開のeegmmidbデータセットで95.53%の分類精度を達成し、既存の最先端手法を顕著に上回った。
• 14チャンネルの自社開発Emotivデータセットでも94.27%の精度を達成し、電極数が少ないにもかかわらず強い一般化性能を示した。
• オフライン設定では95%を超える性能を示したが、オンライン展開ではやや低下しており、実世界のばらつきに感受性があることが示唆された。
• オートエンコーダー層の統合により、EEG信号内のノイズとアーチファクトが低減され、分類の安定性が向上した。
• CNN-LSTMアーキテクチャは、空間的パターンと時間的ダイナミクスの両方を効果的に捉えており、モーターイメージネーション意図の高精度な復号を可能にした。
• 結果から、生EEG信号からのディープ特徴学習により、高精度で実用的なリアルタイム脳チッピングシステムの実現が可能であると示唆された。