[論文レビュー] An end-to-end (deep) neural network applied to raw EEG, fNIRs and body motion data for data fusion and BCI classification task without any pre-/post-processing

Aras R. Dargazany, Mohammadreza Abtahi+1 more|arXiv (Cornell University)|Jul 17, 2019

EEG and Brain-Computer Interfaces参考文献 19被引用数 11

ひとこと要約

この論文では、前処理や後処理を一切行わずに、生の未処理EEG、fNIRS、およびモーショングラップ（MoCap）データを用いて人間の運動活動を分類するエンド・ツー・エンドのディープニューラルネットワークを提案する。モデルはバッチ正規化とリークリReLUを用いた4層MLPに基づくもので、10名の被験者、5クラスの活動認識タスクにおいて90％を超えるテスト精度を達成した。これは、深層学習がBCIシステムにおける従来の信号前処理を回避できることを示している。

ABSTRACT

Brain computer interfaces (BCI) using EEG, fNIRS and body motion (MoCap) data are getting more attention due to the fact that fNIRS and MoCap are not prone to movement artifacts similar to other brain imaging techniques such as EEG. Advancements in deep learning (neural networks) would allow the use of raw data for efficient feature extraction without any pre-/post-processing. In this work, we are performing human activity recognition (BCI classification task) for 5 activity classes using an end-to-end (deep) neural network (NN) (from input all the way to the output) on raw fNIRS, EEG and MoCap data. Our core contribution is focused on applying an end-to-end NN model without any pre-/post-processing on the data. The entire NN model is being trained using backpropagation algorithm. Our end-to-end model is composed of a four-layered MLP: input layer, two hidden layers (using fully connected (dense) layer, batch normalization and leaky-RELU as non-linearity and activation function), and output layer using softmax. We have reached minimum 90\% accuracy on the test dataset for the classification task on 10 subjects data and 5 classes of activity.

研究の動機と目的

• BCI分類パイプラインにおける手動による前処理および特徴抽出を排除すること。
• エンド・ツー・エンドのディープラーニングが、生のマルチモodalな神経生理学的およびモーショングラップデータ上で高い精度を達成できるかどうかを評価すること。
• ディープニューラルネットワークが、フィルタリングやノイズ除去なしに生信号から関連する特徴を自動で学習できることを示すこと。
• 生のfNIRS、EEG、およびMoCapデータを用いた完全に自動化されたデータ駆動型BCI分類システムの実現可能性を検証すること。
• 同じデータセットを用いて、エンド・ツー・エンドモデルの性能を従来のパイプラインと比較すること。

提案手法

• バックプロパゲーションを用いて、Adam最適化子で生の未処理EEG、fNIRS、およびMoCap信号を用いてエンド・ツー・エンドのディープニューラルネットワークを訓練する。
• モデルアーキテクチャは4層MLPである：入力層、全結合（密度）層を備えた2つの隠れ層、バッチ正規化、リプルReLU活性化関数、その後にソフトマックス出力層が続く。
• ネットワークへの入力前に、データのフィルタリング、ダウンサンプリング、または特徴抽出は一切施さない。
• 10名の被験者が5つの運動活動（右腕／左腕／右脚／左脚／両腕）を実行した生の時系列データを、エンド・ツー・エンドで訓練する。
• 多クラス分類のため、ソフトマックス出力とカテゴリカル交差エントロピー損失関数を用いる。
• 実装とデータセットは再現性を確保するためGitHubで公開されている。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープニューラルネットワークは、生の未処理EEG、fNIRS、およびMoCapデータを用いてBCIタスクで高い分類精度を達成できるか？
• RQ2 ディープラーニングを用いる場合、正確なBCI分類のためには手動による前処理や特徴抽出が必要か？
• RQ3 従来のハンドクラフト特徴に依存するBCIパイプラインと比較して、エンド・ツー・エンドモデルの性能はどの程度か？
• RQ4 シンプルなMLPアーキテクチャは、生のマルチモダリティ神経生理学的信号から判別可能なパターンを効果的に学習できるか？
• RQ5 前処理の欠如が、被験者間での一般化性やロバストネスに影響を与えるか？

主な発見

• エンド・ツー・エンドのディープニューラルネットワークは、生のfNIRS、EEG、およびMoCapデータを用いた5クラスの人間活動認識タスクにおいて、テストセットで最低90％の分類精度を達成した。
• フィルタリング、ノイズ除去、特徴抽出などの前処理ステップが、高性能なBCI分類に必要でないことが実証された。
• ネットワークは生のfNIRSデータのみを用いても77〜80％の精度を達成しており、単一モodalでも高い性能を示した。
• 結果から、ディープニューラルネットワークが生の時系列信号から局所的およびグローバルな関連特徴を自動で学習できることを裏付けた。
• 実装はGitHubで公開されており、再現性とさらなるベンチマークが可能である。
• 本研究は、今後のBCIシステムが手動による信号処理に依存せず、完全に自動化されたデータ駆動型パイプラインを採用できる可能性を示唆している。