[論文レビュー] Cascade and Parallel Convolutional Recurrent Neural Networks on EEG-based Intention Recognition for Brain Computer Interface

Dalin Zhang, Lina Yao+4 more|arXiv (Cornell University)|Aug 22, 2017

EEG and Brain-Computer Interfaces被引用数 70

ひとこと要約

本論文は、生のEEGから時空間表現を学習して動作と指示意図を認識する cascade および parallel の畳み込み再帰ニューラルネットワークを提案し、被験者間のクロスサブジェクト多クラス課題で約98%の精度、実世界のBCIケーススタディで93%を達成した。

ABSTRACT

Brain-Computer Interface (BCI) is a system empowering humans to communicate with or control the outside world with exclusively brain intentions. Electroencephalography (EEG) based BCIs are promising solutions due to their convenient and portable instruments. Motor imagery EEG (MI-EEG) is a kind of most widely focused EEG signals, which reveals a subjects movement intentions without actual actions. Despite the extensive research of MI-EEG in recent years, it is still challenging to interpret EEG signals effectively due to the massive noises in EEG signals (e.g., low signal noise ratio and incomplete EEG signals), and difficulties in capturing the inconspicuous relationships between EEG signals and certain brain activities. Most existing works either only consider EEG as chain-like sequences neglecting complex dependencies between adjacent signals or performing simple temporal averaging over EEG sequences. In this paper, we introduce both cascade and parallel convolutional recurrent neural network models for precisely identifying human intended movements by effectively learning compositional spatio-temporal representations of raw EEG streams. The proposed models grasp the spatial correlations between physically neighboring EEG signals by converting the chain like EEG sequences into a 2D mesh like hierarchy. An LSTM based recurrent network is able to extract the subtle temporal dependencies of EEG data streams. Extensive experiments on a large-scale MI-EEG dataset (108 subjects, 3,145,160 EEG records) have demonstrated that both models achieve high accuracy near 98.3% and outperform a set of baseline methods and most recent deep learning based EEG recognition models, yielding a significant accuracy increase of 18% in the cross-subject validation scenario.

研究の動機と目的

• 被験者間横断および多クラス設定全体でEEGベースの意思認識を向上させることを動機づける。
• 生データのEEGに対して重い前処理を必要とせず、エンドツーエンドのcascadeとparallel CNN-RNNアーキテクチャを提案する。
• EEGデータの2Dメッシュ変換を活用して電極間の空間的関係を捉える。
• 大規模な公開EEGデータセットと実世界のBCI設定でモデルを評価する。
• EEG信号の欠損チャンネルとノイズに対するロバスト性を示す。

提案手法

• 1D EEG系列を電極の空間配置に基づく2D EEGメッシュに変換する。
• ウィンドウ内の各メッシュから空間特徴を抽出するためにメッシュ単位の2D-CNNを適用する。
• 空間特徴の系列を横断する時間的ダイナミクスを捉えるためにスタックしたLSTM（RNN）を用いる。
• cascadeモデルでは空間特徴をRNNに入力し、次に全結合層とsoftmaxで分類する。
• 並列モデルでは空間特徴と時間特徴を並行して抽出し、最終のsoftmaxの前に融合する。
• さまざまな融合戦略を検討し、情報保持のためにCNN層をプーリングなしで維持する。

実験結果

リサーチクエスチョン

• RQ1 cascade および parallel CNN-RNN アーキテクチャは、生の EEG から時空間表現を効果的に学習し、多クラス・跨-subjectの意図認識を実現できるか。
• RQ2 空間情報（2Dメッシュ）と時間情報（RNN）が、1D/2D/3D CNNのベースラインと比べて性能にどのように寄与するか。
• RQ3 モデルの深さと融合戦略が認識精度と一般化性能に与える影響はどうか。
• RQ4 限られたチャンネルを持つ実世界のBCIシステムで提案モデルはどのように性能を示すか。
• RQ5 録音中のEEGデータ欠損に対してモデルはロバストか。

主な発見

モデル	マルチクラス	検証	精度
( ? )	Binary	Intra-Sub	0.72
( ? )	Binary	Intra-Sub	0.8206
( ? )	Binary	Cross-Sub(10)	0.8505
( ? )	Binary	Cross-Sub(105)	0.805
( ? )	Multi	Cross-Sub(20)	0.794
( ? )	Multi	Cross-Sub(108)	0.6731
1D-CNN	Multi	Cross-Sub(108)	0.8622
2D-CNN	Multi	Cross-Sub(108)	0.8841
3D-CNN	Multi	Cross-Sub(108)	0.9238
RNN(64)	Multi	Cross-Sub(108)	0.8493
RNN(16)	Multi	Cross-Sub(108)	0.7468
Cascade model	Multi	Cross-Sub(108)	0.9831
Parallel model	Multi	Cross-Sub(108)	0.9828

• CascadeおよびParallelモデルは、跨-subjectの多クラス運動意図認識で約98.3%の精度を達成し、最先端のベースラインを上回った。
• これらの手法は従来のアプローチを大幅に上回り、跨-subject精度で約18%の改善を実現した。
• 14チャンネルの実世界BCIケーススタディでは、5つの指示意図に対して最大93%の精度を達成。
• 2D-CNN（空間情報）が1D-CNNのベースラインより性能を向上させ、LSTM層による時間情報が2D-CNNだけでは得られない大幅な改善をもたらす。
• 3D-CNNのベースラインも競争力があるが、cascade/parallel RNNsが捉える全体的な時系列表現には及ばない。
• モデル変種の中で、より深いCNNと追加のLSTM層は精度を向上させ、cascadeおよびparallelモデルは約98%に収束する。