[論文レビュー] Transformer-based Spatial-Temporal Feature Learning for EEG Decoding

Yonghao Song, Xueyu Jia+2 more|arXiv (Cornell University)|Jun 11, 2021

EEG and Brain-Computer Interfaces参考文献 54被引用数 93

ひとこと要約

本論文はS3Tを紹介する。小型のTransformerベースのEEGデコードモデルで、空間的特徴チャンネル注意と小さな時間スライス上の時間的注意を用い、少ないパラメータで最先端に近い性能を達成する。

ABSTRACT

At present, people usually use some methods based on convolutional neural networks (CNNs) for Electroencephalograph (EEG) decoding. However, CNNs have limitations in perceiving global dependencies, which is not adequate for common EEG paradigms with a strong overall relationship. Regarding this issue, we propose a novel EEG decoding method that mainly relies on the attention mechanism. The EEG data is firstly preprocessed and spatially filtered. And then, we apply attention transforming on the feature-channel dimension so that the model can enhance more relevant spatial features. The most crucial step is to slice the data in the time dimension for attention transforming, and finally obtain a highly distinguishable representation. At this time, global averaging pooling and a simple fully-connected layer are used to classify different categories of EEG data. Experiments on two public datasets indicate that the strategy of attention transforming effectively utilizes spatial and temporal features. And we have reached the level of the state-of-the-art in multi-classification of EEG, with fewer parameters. As far as we know, it is the first time that a detailed and complete method based on the transformer idea has been proposed in this field. It has good potential to promote the practicality of brain-computer interface (BCI). The source code can be found at: \textit{https://github.com/anranknight/EEG-Transformer}.

研究の動機と目的

• CNN/RNNを超えるグローバル依存性モデリングを用いたEEGデコードの動機づけ。
• EEGデータに特化した軽量なトランスフォーマー風アーキテクチャの提案。
• 特徴チャンネルの選択的ウェイト付けと時間的依存性の捕捉を可能にする。
• 公開のモターイメージ EEGデータセットでパラメータ数を抑えつつ競争力のある性能を示す。

提案手法

• EEGをバンドパスフィルタリングとCSP風の空間フィルタリングで前処理し、一対他戦略を用いる。
• 空間チャンネルを時間処理前にウェイト付けする特徴チャンネル注意を適用。
• 畳み込みベースの位置エンコーディングとマルチヘッド時間的注意を用いて時間的依存を捉える。
• データを小さな時間スライスに分割し、残差接続とFFブロックを備えた時間的注意を適用。
• グローバル平均プーリングの後に単純な全結合層とクロスエントロピー損失で分類。

実験結果

リサーチクエスチョン

• RQ1 特徴空間と時間的依存性を捉えることで、軽量なトランスフォーマーベースモデルはEEGデコードを効果的に行えるか。
• RQ2 特徴チャンネル上の注意付与は、従来のCSPベースやCNN/RNNアプローチと比較して多クラスEEG識別を改善するか。
• RQ3 時間スライスのサイズと位置エンコーディングがEEGデコード性能に与える影響は何か。
• RQ4 S3Tは公開MI-EEGデータセットにおける精度とパラメータ効率の点で最先端のベースラインとどう比較されるか。

主な発見

Table/Result Type	Metric/Column1	Metric/Column2	Metric/Column3	Metric/Column4	Metric/Column5	Additional Notes
表I: スコアリング性能（データセットごとのOVR）	2a	c0	91.30	83.33	75.60	95.72	79.28
	2a	c1	91.48	81.88	84.33	93.84	83.09
	2a	c2	92.03	87.84	83.87	95.32	85.81
	2a	c3	90.37	77.40	85.61	91.91	81.30
表I: スコアリング性能（データセットごとのOVR）	2b	c0	84.26	83.09	85.87	82.66	84.46
	2b	c1	84.26	85.50	82.66	85.87	84.06
表II: 2aでのベースライン比較（平均）	Method	S01	S02	S03	S04	S05	S06	S07	S08	S09	Average	std	significance	Params
FBCSP	2a	76.00	56.50	81.25	61.00	55.00	45.25	82.75	81.25	70.75	67.75	12.94	p < 0.01	—
ConvNet	2a	76.39	55.21	89.24	74.65	56.94	54.17	92.71	77.08	76.39	72.53	13.42	p < 0.01	295.25k
EEGNet	2a	85.76	61.46	88.54	67.01	55.90	52.08	89.58	83.33	86.81	74.50	14.36	p < 0.01	1.46k
C2CM	2a	87.50	65.28	90.28	66.67	62.5	45.49	89.58	83.33	79.51	74.46	14.45	p < 0.01	36.68k
CNN+LSTM	2a	85.00	54.00	87.00	78.00	77.00	66.00	95.00	83.00	90.00	80.00	11.97	p = 0.0961	8.57k
DFL	2a	91.31	71.62	92.32	78.38	80.10	61.62	92.63	90.30	78.38	81.85	10.15	p = 0.0774	30.69k
Ours	2a	91.67	71.67	95.00	78.33	61.67	66.67	96.67	93.33	88.33	82.59	—	8.68k
FBCSP	2b	70.00	60.36	60.94	97.50	93.12	80.63	78.13	92.50	86.88	80.00	13.06	p < 0.05	—
ConvNet	2b	76.56	50.00	51.56	96.88	93.13	85.31	83.75	91.56	85.62	79.37	16.27	p < 0.05	295.23k
EEGNet	2b	68.44	57.86	61.25	90.63	80.94	63.13	84.38	93.13	83.13	75.88	12.57	p < 0.01	1.15k
MSCNN	2b	80.56	65.44	65.97	99.32	89.19	86.11	81.25	88.82	86.81	82.61	10.44	p < 0.05	24.99k
Ours	2b	81.67	68.33	66.67	98.33	88.33	90.00	85.00	93.33	86.67	84.26	10.03	—	6.50k

• S3TはBCI Competition IVデータセット2aおよび2bで、他の多くのベースラインよりも少ないパラメータ数で競争力のある精度を達成する。
• 時間スライス上の注意による時間的変換が backboneであり、除去すると性能が顕著に低下する。
• 特徴チャンネル注意による空間的変換は、識別が難しい被験者に対して特に追加の利得を提供する。
• 位置エンコーディングを畳み込みブロックで実装すると性能が著しく向上する（除去時には損失が生じることに留意）。
• アブレーションとパラメータ感度分析は、パラメータ変更に対するS3Tの頑健性と、時間的注意の価値を示している。