[論文レビュー] Positional-Spectral-Temporal Attention in 3D Convolutional Neural Networks for EEG Emotion Recognition

Jiyao Liu, Yanxi Zhao+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces参考文献 40被引用数 10

ひとこと要約

本稿では、空間的、スペクトル的、時間的アテンションメカニズムを統合した新しい3次元畳み込みニューラルネットワーク（3D-CNN）モジュール、PST-Attentionを提案する。空間的脳領域の活性化、周波数帯の重要性、時間的ダイナミクスを学習することで、SEEDデータセットでは95.76%、SEED-IVデータセットでは82.73%の最先端の精度を達成し、アダプティブなアテンション重み付けにより特徴の識別能とロバスト性が向上することを示した。

ABSTRACT

Recognizing the feelings of human beings plays a critical role in our daily communication. Neuroscience has demonstrated that different emotion states present different degrees of activation in different brain regions, EEG frequency bands and temporal stamps. In this paper, we propose a novel structure to explore the informative EEG features for emotion recognition. The proposed module, denoted by PST-Attention, consists of Positional, Spectral and Temporal Attention modules to explore more discriminative EEG features. Specifically, the Positional Attention module is to capture the activate regions stimulated by different emotions in the spatial dimension. The Spectral and Temporal Attention modules assign the weights of different frequency bands and temporal slices respectively. Our method is adaptive as well as efficient which can be fit into 3D Convolutional Neural Networks (3D-CNN) as a plug-in module. We conduct experiments on two real-world datasets. 3D-CNN combined with our module achieves promising results and demonstrate that the PST-Attention is able to capture stable patterns for emotion recognition from EEG.

研究の動機と目的

• 感情認識における不安定でノイズの多いEEG信号の課題に対処するため、空間的・スペクトル的・時間的特徴の補完的利用を図ること。
• 複数の次元にわたる判別性の高いEEG特徴抽出を促進する統合的で適応的なアテンションメカニズムの開発。
• EEGデータにおける情報量の多い脳領域、重要な周波数帯、顕著な時間セグメントに注目することで、モデル性能の向上。
• 既存の深層学習パイプラインに効率的に統合可能な、3D-CNNと互換性のあるプラグインモジュールの構築。

提案手法

• 空間的・スペクトル的・時間的関係を保持するため、EEG特徴を4次元テンソル（バッチ、高さ、幅、時間）に再編成する。
• 並列的なPST-Attentionモジュールを導入し、3つのサブモジュール（空間アテンション、周波数帯選択、時間セグメント優先順位付け）を備える。
• 各アテンションヘッドは、クエリ・キー・バリュー機構を用いて学習可能な重みを計算し、残差接続とレイヤーナーマライゼーションにより安定性を確保。
• 4次元表現を3D-CNNバックボーンに供給し、PST-Attentionが各層で特徴マップを動的に再キャリブレーションする。
• アテンションモジュールは微分可能でエンドツーエンド学習可能であり、空間的・スペクトル的・時間的アテンションの共同最適化を可能にする。
• 2つのベンチマークEEG感情認識データセット（SEEDおよびSEED-IV）でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 空間的・スペクトル的・時間的次元を統合的にモデル化する統合的アテンションメカニズムは、EEGベースの感情認識を向上させることができるか？
• RQ2 空間的・スペクトル的・時間的アテンションモジュールが、個別および統合的にモデル性能にどのように寄与するか？
• RQ3 提案された4次元EEG表現は、3次元または2次元表現と比較して特徴の識別能を向上させるか？
• RQ4 PST-Attentionは、実世界のEEGデータにおける不要な特徴やノイズをどの程度抑制するか？

主な発見

• PST-Attentionを備えた3D-CNNは、SEEDデータセットで平均95.76%の精度を達成し、表1に示されたすべての競合手法を上回った。
• SEED-IVデータセットでは、平均82.73%の精度（標準偏差8.96%）を達成し、より高いロバスト性と安定性を示した。
• アブレーションスタディの結果、空間アテンション（P-Attention）とスペクトルアテンション（S-Attention）が時間アテンションよりも顕著に寄与しており、P-Attentionは3.27%、S-Attentionは2.47%の精度向上をもたらした。
• 3つのアテンションモジュールを統合した結果、ベースラインの3D-CNNに比べて9.81%の精度向上が達成され、相乗効果が確認された。
• 高レベル特徴の可視化により、PST-Attentionを用いた場合、クラス間の分離度が向上しており、より優れた判別能力を示した。
• 4次元表現は、SEEDデータセットで92.79%の平均精度を達成し、3次元表現（例：VHS、VHT）を上回った。これは、4次元表現の有効性を裏付けた。