[論文レビュー] Decoding Human Attentive States from Spatial-temporal EEG Patches Using Transformers

Yi Ding, Joon Hei Lee+3 more|ArXiv.org|Feb 6, 2025

EEG and Brain-Computer Interfaces被引用数 3

ひとこと要約

EEG-PatchFormerは、空間パッチと時系列パッチを用いて空間-時間のEEG特徴を同時に学習し、Transformerが注意状態を分類するためにパッチ化するトランスフォーマーベースのモデルで、公開データセット上で最新の結果を達成します。

ABSTRACT

Learning the spatial topology of electroencephalogram (EEG) channels and their temporal dynamics is crucial for decoding attention states. This paper introduces EEG-PatchFormer, a transformer-based deep learning framework designed specifically for EEG attention classification in Brain-Computer Interface (BCI) applications. By integrating a Temporal CNN for frequency-based EEG feature extraction, a pointwise CNN for feature enhancement, and Spatial and Temporal Patching modules for organizing features into spatial-temporal patches, EEG-PatchFormer jointly learns spatial-temporal information from EEG data. Leveraging the global learning capabilities of the self-attention mechanism, it captures essential features across brain regions over time, thereby enhancing EEG data decoding performance. Demonstrating superior performance, EEG-PatchFormer surpasses existing benchmarks in accuracy, area under the ROC curve (AUC), and macro-F1 score on a public cognitive attention dataset. The code can be found via: https://github.com/yi-ding-cs/EEG-PatchFormer .

研究の動機と目的

• EEG から人間の注意状態を jointly modeling 空間的・時間的ダイナミクスによって解読する動機づけ。
• 時系列を跨ぐクロス領域脳活動を捉えるためのパッチベース Transformer アーキテクチャを導入する。
• Transformer 処理のために空間-時系列パッチへ整理するよう、周波数ベースの特徴を抽出し、表現を強化・組織化するモジュールを設計する。
• 公開データセット上で既存の EEG 注意分類法に対して優れた性能を示す。

提案手法

• Temporal CNN が EEG 信号から周波数ベースの時系列特徴を抽出。
• 特徴強化を 1x1 畳み込みで実施し、特徴次元を洗練・削減。
• 局所およびグローバルブランチを用いる Spatial Patching Module が空間パッチを生成。
• 局所的な空間学習器で脳領域別の処理とチャネルごとのフィルタリングを実施。
• グローバル空間学習器がすべてのチャネルを対象に最終 CNN を適用。
• Temporal Patching Module がスライディングウィンドウと線形射影により重なりを持つ時系列パッチを生成。
• 4 層の Transformer エンコーダが空間-時間トークンを処理し、全結合分類子へ接続。

実験結果

リサーチクエスチョン

• RQ1 空間-時間の EEG パッチを活用するトランスフォーマーベースのモデルは、既存の方法より注意状態分類を改善できるか？
• RQ2 局所/グローバルな空間情報と時間ダイナミクスをパッチングを介して jointly 学習することはデコード性能を高めるか？
• RQ3 オーバーラップ長さなどパッチ設計の選択が分類指標に与える影響は？
• RQ4 EEG-PatchFormer は公開データセット上で ACC、AUC、macro-F1 の点でベースライン EEG アーキテクチャと比較してどうか？

主な発見

• EEG-PatchFormer は比較対象のベースラインの中で平均 ACC が最も高く 75.63% を達成。
• 評価された手法の中で最高の AUC が 85.06% に達成。
• macro-F1 でトップのスコア 75.04% を達成。
• アブレーションにより、FEM、SPM、OTPM を除去すると性能が低下し、特に SPM がない場合に劣化。
• TPM の最適な時系列パッチ長はメトリクス最適化のため 20 データ点。
• 全体として、DGCNN、LGGNet、TSception、ViT より ACC、AUC、macro-F1 の点で上回る。