[論文レビュー] MAtt: A Manifold Attention Network for EEG Decoding

Yueting Pan, Jing-Lun Chou+1 more|arXiv (Cornell University)|Oct 5, 2022

EEG and Brain-Computer Interfaces被引用数 25

ひとこと要約

MAttはEEG特徴をSPD多様体へ写像し、時刻同期と時刻非同期のEEGタスク全般でデコードを改善する幾何的ディープラーニングモデルです。

ABSTRACT

Recognition of electroencephalographic (EEG) signals highly affect the efficiency of non-invasive brain-computer interfaces (BCIs). While recent advances of deep-learning (DL)-based EEG decoders offer improved performances, the development of geometric learning (GL) has attracted much attention for offering exceptional robustness in decoding noisy EEG data. However, there is a lack of studies on the merged use of deep neural networks (DNNs) and geometric learning for EEG decoding. We herein propose a manifold attention network (mAtt), a novel geometric deep learning (GDL)-based model, featuring a manifold attention mechanism that characterizes spatiotemporal representations of EEG data fully on a Riemannian symmetric positive definite (SPD) manifold. The evaluation of the proposed MAtt on both time-synchronous and -asyncronous EEG datasets suggests its superiority over other leading DL methods for general EEG decoding. Furthermore, analysis of model interpretation reveals the capability of MAtt in capturing informative EEG features and handling the non-stationarity of brain dynamics.

研究の動機と目的

• 幾何学的ディープラーニングを用いて、非定常性およびノイズ下での堅牢なEEGデコードを動機づける。
• EEG特徴のユークリッド表現とリーマン表現を統合する軽量なフレームワークを提案する。
• SPD行列上で動作し、時空パターンを捉える多様体アテンション機構を開発する。
• 時刻同期および非同期EEGデータセット全体での一般化を検証する。

提案手法

• 空間および時空間表現のために2つの畳み込み層を用いてEEG特徴を抽出する。
• ユークリッド埋め込みをリーマン処理のためのSPD行列に変換する。Log-Euclidean計量を用いる。
• 二重線形写像を用いてSPDクエリ、キー、値を生成する多様体アテンションモジュールを実装する。
• SPDクエリ/キー間の類似度をLog-Euclidean距離で計算し、SPD多様体上でSoftmaxベースのアテンションを適用する。
• Log-Euclidean平均を用いてアテンションされたSPD値を融合し、ReEigおよびLog層でユークリッド空間へ再写像して分類に用いる。
• Stiefel多様体上の回転を保つ勾配更新を用いて、クロスエントロピー損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 提案されたMAttフレームワークは、MI（time-asynchronous）、SSVEP（time-synchronous）、ERNデータセットにおいて、先行するDL手法と比較してEEGデコード精度を改善できるか。
• RQ2 ユークリッド表現とリーマン表現を多様体アテンション機構で統合することは、EEG信号の一般化と解釈性を向上させるか。
• RQ3 モデルは非定常性や被験者・セッション間の変動をどのように扱うか。
• RQ4 全体の性能における多様体アテンションモジュールと特徴抽出器の寄与はどの程度か。

主な発見

Model	MI	SSVEP	ERN
ShallowConvNet	61.84 ± 6.39	56.93 ± 6.97	71.86 ± 2.64
EEGNet	57.43 ± 6.25	53.72 ± 7.23	74.28 ± 2.47
SCCNet	71.95 ± 5.05	62.11 ± 7.70	70.93 ± 2.31
EEG-TCNet	67.09 ± 4.66	55.45 ± 7.66	77.05 ± 2.46
TCNet-Fusion	56.52 ± 3.07	45.00 ± 6.45	70.46 ± 2.94
FBCNet	71.45 ± 4.45	53.09 ± 5.67	60.47 ± 3.06
MBEEGSE	64.58 ± 6.07	56.45 ± 7.27	75.46 ± 2.34
MAtt	74.71 ± 5.01	65.50 ± 8.20	76.01 ± 2.28

• MAttはMI、SSVEP、ERNデータセットにおいてベースラインDL手法を上回る（報告された実験）。
• FE+MA（提案手法）は3つのタスク全てで最高精度を達成し、FE単独およびFE+Self-Attention代替案を上回る。
• MI、SSVEP、ERNを跨いで、MAttは頑健な一般化と勾配ベースの局所化による解釈可能な特徴捕捉を示す。
• アブレーションにより、特徴抽出と多様体アテンションモジュールを組み合わせると最も高い性能を発揮する。
• モデル解釈は、運動野活動とEEG信号のμ帯タイミングと一致する空間パターンを示す。