[論文レビュー] Recurrent Neural Networks for P300-based BCI

Ori Tal, Doron Friedman|arXiv (Cornell University)|Jan 30, 2019

Anomaly Detection Techniques and Applications参考文献 26被引用数 6

ひとこと要約

本研究は、急速逐次視覚提示（RSVP）EEGデータを用いたP300ベースの脳-コンピュータインターフェース（BCI）スパellerシステムにおいて、再帰的ニューラルネットワーク（RNN）、特にLSTMおよびハイブリッドCNN-LSTMアーキテクチャの性能を評価する。単一被験者データではLDAが深層学習モデルと同等またはそれ以上の性能を示すが、被験者間転送学習においてはCNN-LSTMモデルが顕著に優れており、時間的ノイズに対して優れた耐性を示し、P300ERPピークに対応する250–450msの重要な時間窓に注目している。

ABSTRACT

P300-based spellers are one of the main methods for EEG-based brain-computer interface, and the detection of the P300 target event with high accuracy is an important prerequisite. The rapid serial visual presentation (RSVP) protocol is of high interest because it can be used by patients who have lost control over their eyes. In this study we wish to explore the suitability of recurrent neural networks (RNNs) as a machine learning method for identifying the P300 signal in RSVP data. We systematically compare RNN with alternative methods such as linear discriminant analysis (LDA) and convolutional neural network (CNN). Our results indicate that LDA performs as well as the neural network models or better on single subject data, but a network combining CNN and RNN has advantages when transferring learning among subejcts, and is significantly more resilient to temporal noise than other methods.

研究の動機と目的

• RNN、特にLSTMがEEGベースのBCIシステムにおけるP300検出精度を向上させられるかどうかを調査すること。
• 単一被験者および被験者間分類タスクにおけるRNN、LDA、CNNの性能を比較すること。
• RSVP-BCIデータにおける時間的ノイズに対する異なるモデルの耐性を評価すること。
• 勾配ベースのサリエンシーマップを用いてモデルの解釈可能性を分析し、P300ERPタイミングに応じた注目パターンを理解すること。
• BCI応用で一般的な低サンプル数・高ノイズEEG環境下での深層学習モデルの有効性を評価すること。

提案手法

• 本研究では、空間的特徴抽出のための1次元畳み込みニューラルネットワーク（CNN）層と、時間的シーケンスモデリングのための長短期記憶（LSTM）層を組み合わせたハイブリッド深層学習アーキテクチャを採用する。
• 入力データはC×TのEEG行列（C：電極数、T：時間ポイント）であり、全結合（FC）、CNN、LSTM層を通じて処理され、ReLUやtanhなどの非線形活性化関数が用いられる。
• LSTM部の学習には時間遡及バックプロパゲーションを用い、LSTMユニットのゲート構造により消失勾配問題を緩和する。
• モデルの解釈可能性は、勾配ベースのサリエンシーマップを用いて評価され、∇f(x|θ)は予測結果に対する入力特徴の絶対勾配を計算し、影響力のある時間ポイントおよび電極を特定する。
• 性能評価には、被験者1人あたり約20,000件のラベル付きサンプルを含む大規模EEGデータセットを用い、10分割交差検証を実施し、時間ジッタの異なる条件下での正答率を測定する。
• 比較分析には、線形判別分析（LDA）、単体のCNN、およびCNN-LSTMモデルを、単一被験者および被験者間設定の両方で用いる。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデル、特にLSTMは、単一被験者EEGデータにおいて、LDA やCNNといった従来手法と比較してP300検出精度を向上させられるか？
• RQ2 ハイブリッドCNN-LSTMアーキテクチャは、被験者間転送学習の場面で性能を向上させられるか？
• RQ3 異なるモデルは、P300潜伏期窓付近の刺激開始の時間的ノイズに対してどのように反応するか？
• RQ4 モデルの注目は入力シーケンスのどの部分に集中しているか？また、既知の300msのP300ERPピークと一致するか？
• RQ5 低サンプル数・高ノイズEEG環境下で、深層学習モデルは単純な線形モデル（LDA）を上回る条件は何か？

主な発見

• 単一被験者データではLDAが深層学習モデルと同等またはそれ以上の精度を示し、時間的ノイズ条件下で20%以上の性能低下を示した。
• CNN-LSTMハイブリッドモデルは、被験者間転送学習においてLDAや単体のCNNを顕著に上回り、優れた一般化性能を示した。
• CNN-LSTMモデルは80msの時間ジッタ下でも89.6%の高い精度を維持したのに対し、LDAは同様の条件下で26.0%まで低下した。
• サリエンシーマップの結果、LSTM-CNNモデルはP300ERPピークと一致する250–450msの時間窓に注目しているのに対し、CNNモデルはより広範な注目パターンを示した。
• CNN-LSTMモデルは他のモデルと比較して時間的ノイズに対して著しく耐性があり、120msのジッタでも精度が5.8ポイント低下したにとどまり、LDAは43.5ポイントの低下を示した。
• 大規模データ（被験者1人あたり約20,000サンプル）を用いても、単一被験者分類において深層学習がLDAを上回る顕著な利点は認められず、データ効率の制限が示された。