[論文レビュー] EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition

Yi Ding, Chengxuan Tong+5 more|arXiv (Cornell University)|Jun 26, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

EmT は、長期間の時間的文脈とマルチビュー脳結合をモデル化することで、一般化されたクロス・サブジェクト EEG 感情認識を向上させる新しいグラフ・トランスフォーマー・モデルである。時間的グラフ構築モジュールを用いて動的 EEG 特徴グラフを生成し、残差マルチビューピラミッド GCN (RMPG) で多様な空間的接続を学習し、二重トークンミキサーを備えた時間的文脈トランスフォーマー (TCT) で逐次的依存関係を捉える。4つの公的データセットにおいて分類および回帰の両タスクで最先端の性能を達成した。

ABSTRACT

Integrating prior knowledge of neurophysiology into neural network architecture enhances the performance of emotion decoding. While numerous techniques emphasize learning spatial and short-term temporal patterns, there has been limited emphasis on capturing the vital long-term contextual information associated with emotional cognitive processes. In order to address this discrepancy, we introduce a novel transformer model called emotion transformer (EmT). EmT is designed to excel in both generalized cross-subject EEG emotion classification and regression tasks. In EmT, EEG signals are transformed into a temporal graph format, creating a sequence of EEG feature graphs using a temporal graph construction module (TGC). A novel residual multi-view pyramid GCN module (RMPG) is then proposed to learn dynamic graph representations for each EEG feature graph within the series, and the learned representations of each graph are fused into one token. Furthermore, we design a temporal contextual transformer module (TCT) with two types of token mixers to learn the temporal contextual information. Finally, the task-specific output module (TSO) generates the desired outputs. Experiments on four publicly available datasets show that EmT achieves higher results than the baseline methods for both EEG emotion classification and regression tasks. The code is available at https://github.com/yi-ding-cs/EmT.

研究の動機と目的

• 既存の EEG 感情認識モデルにおける長期間の文脈モデリングの欠如に対処すること。
• 動的脳結合や側頭半球の非対称性といった神経生理学的事前知識をディープラーニングアーキテクチャに統合すること。
• 分類および回帰タスクの両方で、クロス・サブジェクト EEG 感情認識において頑健に動作する統合フレームワークを開発すること。
• 感情刺激時の異なる認知プロセスに対応する複数の多様な脳結合パターンを学習できるようにすること。

提案手法

• EEG信号は、時間的グラフ構築 (TGC) モジュールを介して時間的グラフに変換され、各セグメントがサブセグメントに分割され、周波数帯域特徴が抽出される。
• 残差マルチビューピラミッド GCN (RMPG) モジュールは、学習可能な隣接行列を備えた複数の並列 GCN を適用し、すべての EEG チャネルにわたる多段階・マルチビュー空間表現を捉える。
• RMPG の出力は平均プーリングにより統合され、各時間的グラフごとに1つのトークンが生成され、トークン埋め込みの系列が形成される。
• 二つの特化型トークンミキサー設計 (TCT-Clas および TCT-Regr) を備えた時間的文脈トランスフォーマー (TCT) モジュールが、系列を処理して長距離の時間的依存関係をモデル化する。
• タスク固有の出力モジュール (TSO) が予測を生成する：分類ヘッドは感情クラスラベルを、回帰ヘッドは連続的な価値/覚醒スコアを出力する。
• モデルは4つの公的 EEG データセット上でエンド・ツー・エンドに訓練され、構成要素の寄与を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャは、感情認識のための EEG 信号における長期間の時間的文脈情報を効果的にモデル化できるか？
• RQ2 学習可能な隣接行列を備えた複数の GCN を用いて複数の多様な脳結合パターンを学習することは、クロス・サブジェクト EEG 感情認識の性能を向上させるか？
• RQ3 神経生理学的に裏付けられた空間的および時間的モデリングの統合は、未観測の被験者へも一般化性能を向上させるか？
• RQ4 異なる EEG 特徴タイプ（例：rPSD、DE、PSD）は、分類および回帰タスクにおける EmT モデルの性能にどのように影響するか？
• RQ5 TCT ブロックの数を増やすことは、分類タスクと回帰タスクの両方において、性能にどの程度影響を与えるか？

主な発見

• EmT は4つの公的データセットにおいて、分類および回帰タスクの両方で最先端の性能を達成し、SEED では正解率が 0.802、F1 スコアが 0.821 に達した。
• 入力特徴として相対的パワースペクトル密度 (rPSD) を使用した場合が最も高い性能を示し、微分エントロピー (DE) やパワースペクトル密度 (PSD) を上回った。
• TCT ブロックの数を増やすことで分類性能が顕著に向上した（正解率が 0.780 から 0.802 に上昇）が、回帰指標にはほとんど影響を与えなかった（RMSE ~0.06、PCC ~0.48、CCC ~0.39）。
• モデルは2つの明確で神経生理学的に意味のある脳結合パターンを学習した：1つは注意に関連する前頭頭頂側頭領域を含み、もう1つは感情および視覚処理に関連する前頭側頭頭頂後頭ネットワークを含む。
• 学習された隣接行列の可視化により、EmT が、感情刺激時に強い F6-POz および FC4-P7 接続を捉えていることが確認された。
• 残差マルチビューピラミッド GCN (RMPG) は、複数の GCN ブランチで独立した隣接行列を学習することで、多様で多段階のグラフ表現を効果的に捉えた。