[論文レビュー] Spatial-temporal Transformers for EEG Emotion Recognition

Jiyao Liu, Hao Wu+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

本論文は、自己注意メカニズムを活用して、同時に空間的電極関係と時間的ダイナミクスをモデル化する、EEGに基づく感情認識のための空間的時間的トランスフォーマー枠組み（EeT）を提案する。同時空間的時間的注意メカニズムは、SEEDデータセットで96.28%、DEAPデータセットで93.34%の最先端性能を達成し、EEGの空間的時間的特徴を統合的にモデル化することが感情認識性能を顕著に向上させることを示している。

ABSTRACT

Electroencephalography (EEG) is a popular and effective tool for emotion recognition. However, the propagation mechanisms of EEG in the human brain and its intrinsic correlation with emotions are still obscure to researchers. This work proposes four variant transformer frameworks~(spatial attention, temporal attention, sequential spatial-temporal attention and simultaneous spatial-temporal attention) for EEG emotion recognition to explore the relationship between emotion and spatial-temporal EEG features. Specifically, spatial attention and temporal attention are to learn the topological structure information and time-varying EEG characteristics for emotion recognition respectively. Sequential spatial-temporal attention does the spatial attention within a one-second segment and temporal attention within one sample sequentially to explore the influence degree of emotional stimulation on EEG signals of diverse EEG electrodes in the same temporal segment. The simultaneous spatial-temporal attention, whose spatial and temporal attention are performed simultaneously, is used to model the relationship between different spatial features in different time segments. The experimental results demonstrate that simultaneous spatial-temporal attention leads to the best emotion recognition accuracy among the design choices, indicating modeling the correlation of spatial and temporal features of EEG signals is significant to emotion recognition.

研究の動機と目的

• 空間的および時間的EEG特徴が感情認識性能に与える影響を調査すること。
• 多チャネルEEG信号におけるグローバルな空間的時間的依存関係を捉えることが困難であるというCNNおよびRNNの限界を解決すること。
• 空間的および時間的相関を同時にモデル化することで、感情認識の正確性が向上するかどうかを検討すること。
• EEG信号の空間的時間的ダイナミクスを明示的にモデル化するトランスフォーマー基盤のフレームワークを構築すること。
• 空間的注意、時間的注意、逐次的注意、および同時的注意の異なる注意メカニズムを比較し、EEG感情認識に最も効果的なアーキテクチャを同定すること。

提案手法

• 空間的注意、時間的注意、逐次的空間的時間的注意、および同時空間的時間的注意の4つのバリエーションを備えたトランスフォーマー基盤のEEG感情認識モデルを設計する。
• 自己注意メカニズムを用いて、EEG電極間の空間的関係と時間的セグメント間の依存関係を学習する。
• マルチヘッド注意メカニズムを適用し、空間的および時間的次元の両方で長距離依存関係を捉える。
• 両側頭部からのEEG信号を別々に処理するデュアルブランチアーキテクチャを採用し、識別的表現学習を強化する。
• 深層ニューラルネットワーク（DNN）と分類ヘッドを統合し、交差エントロピー損失を用いて学習された特徴を感情ラベルにマッピングする。
• t-SNE可視化を用いて、モデルが学習した高次特徴の識別性を分析する。

Fig. 1 : Overview of EEG Emotion Recognition Transformer (EeT)

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的EEG特徴が感情認識性能に個別に与える寄与度は何か？
• RQ2 空間的および時間的相関を同時にモデル化するのと、逐次的または独立的にモデル化するのとでは、相対的な影響にどのような差があるか？
• RQ3 空間的および時間的特徴を同時にモデル化することで、逐次的または単一モodalな注意よりも感情認識の正確性が向上するか？
• RQ4 提案されたトランスフォーマー基盤のフレームワークは、既存のCNNおよびRNNベースのモデルと比較して、EEG感情認識においてどのように差をつけるか？
• RQ5 空間的注意と時間的注意のどちらが感情関連EEGパターンを捉える上でより寄与しているか？

主な発見

• 同時空間的時間的注意（S+T）バリエーションは、SEEDデータセットで96.28%、DEAPデータセットで93.34%の最高精度を達成し、他のすべてのバリエーションおよび最先端モデルを上回った。
• S+T注意メカニズムは、DEAPにおけるアーザルとバリエンスの両面で3D-CNNをそれぞれ4.85%および5.42%上回った。
• S+Tバリエーションは、PST-Attentionを用いた3D-CNNと比較して、SEEDで0.59%、SEED-IVで0.59%の標準偏差を低減し、より高いモデルの頑健性を示した。
• アブレーションスタディの結果、統合的モデリング（S+T）は、2番目に優れたバリエーション（S-T）と比較して、SEEDで0.63%、SEED-IVで2.96%の性能向上を達成した。
• 空間的注意のみが、SEEDとSEED-IVでそれぞれ0.4%および0.94%高い性能を示し、空間的特徴が感情関連情報の多くを担っていることを示唆した。
• t-SNE可視化により、S+T注意を用いて学習された特徴がより識別的であることが確認され、埋め込み空間におけるクラス間分離度が高かった。