[論文レビュー] Transformers for EEG Emotion Recognition.

Jiyao Liu, Li Zhang+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces参考文献 19被引用数 15

ひとこと要約

本稿では、原始的EEG信号から空間的・スペクトル的・時間的表現を統合的に学習する、自己注意に基づく新規モデルであるEEG感情Transformer（EeT）を提案する。各ブロック内で時間的および空間的注意を適用することにより、EeTはSEEDおよびSEED-IVデータセットで最先端の性能を達成し、感情関連神経パターンを捉えるために統合的注意メカニズムが有効であることを示している。

ABSTRACT

Electroencephalogram (EEG) can objectively reflect emotional state and changes. However, the transmission mechanism of EEG in the brain and its internal relationship with emotion are still ambiguous to human beings. This paper presents a novel approach to EEG emotion recognition built exclusively on self-attention over the spectrum, space, and time dimensions to explore the contribution of different EEG electrodes and temporal slices to specific emotional states. Our method, named EEG emotion Transformer (EeT), adapts the conventional Transformer architecture to EEG signals by enabling spatiospectral feature learning directly from the sequences of EEG signals. Our experimental results demonstrate that joint where temporal and spatial attention are applied simultaneously within each block, leads to the best emotion recognition accuracy among the design choices. In addition, compared with other competitive methods, the proposed method achieves state-of-art results on SEED and SEED-IV datasets.

研究の動機と目的

• EEGの神経伝達メカニズムと感情状態との間の曖昧さを解消すること。
• 手作業による特徴抽出を必要とせず、原始的EEGシーケンスから直接学習する深層学習モデルの開発。
• 個々のEEG電極および時間的セグメントが感情状態分類に与える寄与度の解明。
• EEG信号における空間的・スペクトル的・時間的次元を統合的にモデリングすることで、感情認識の正確性を向上させること。
• 自己注意メカニズムを用いたEEGベースの感情認識のための新しい最先端のベンチマークを確立すること。

提案手法

• 本手法は、時間・空間・周波数ドメインにおいてEEGデータのシーケンスを処理することで、標準的なTransformerアーキテクチャをEEG信号に適応する。
• 時間・電極（空間）・周波数（スペクトル）の3次元においてマルチヘッド自己注意を適用し、ダイナミックな相互作用を捉える。
• 各Transformerブロック内で空間的および時間的注意を同時に適用することで、感情状態に寄与する電極固有の要因と時間的変動要因をモデル化する。
• 外部の特徴工学を必要とせず、原始的EEGシーケンスから直接空間周波数表現を学習する。
• EEGデータ上でエンドツーエンドに訓練することで、感情分類性能を最適化する。
• 本手法は、EEG記録からのラベル付き感情状態を含むSEEDおよびSEED-IVデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 EEG信号における空間的・スペクトル的・時間的特徴は、感情認識にどのように寄与するか？
• RQ2 EEGベースの感情分類において、時間的および空間的の統合的注意と単モodalの注意とを比較した場合、相対的な影響は何か？
• RQ3 原始的EEGシーケンスに直接訓練された自己注意メカニズムは、標準ベンチマークで既存手法を上回ることができるか？
• RQ4 SEEDおよびSEED-IVデータセットにおいて、提案されたモデルは最先端のアプローチと比較して、正確性および一般化性能の面でどのように差がつくか？

主な発見

• 各Transformerブロック内で時間的および空間的注意を統合的に適用した場合、全テストされた設計変種の中で最も高い感情認識正確性が得られた。
• 提案されたEeTモデルは、SEEDおよびSEED-IVデータセットの両方で最先端の性能を達成し、既存の優れた手法を上回った。
• モデルは、感情状態に関連するEEG信号内の動的で多次元的なパターンを効果的に捉えている。
• 結果から、自己注意メカニズムがEEGデータにおける複雑な空間時間的関係を感情認識の目的で成功裏にモデル化できることを示している。