[論文レビュー] Temporal-spatial Representation Learning Transformer for EEG-based Emotion Recognition

Zhe Wang, Yongxiong Wang+3 more|arXiv (Cornell University)|Nov 16, 2022

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文では、感情認識のためのEEG信号における時間的ダイナミクスと空間的相関を統合的に捉える、新しいトランスフォーマーに基づくモデルを提案する。チャネル間で共有される時間的特徴抽出器と、重要脳領域および信号断片を局在化するためのマルチヘッド自己注意機構を採用することで、感情分類のためのDEAPおよびMAHNOBHCIデータセットで最先端の性能を達成した。

ABSTRACT

Both the temporal dynamics and spatial correlations of Electroencephalogram (EEG), which contain discriminative emotion information, are essential for the emotion recognition. However, some redundant information within the EEG signals would degrade the performance. Specifically,the subjects reach prospective intense emotions for only a fraction of the stimulus duration. Besides, it is a challenge to extract discriminative features from the complex spatial correlations among a number of electrodes. To deal with the problems, we propose a transformer-based model to robustly capture temporal dynamics and spatial correlations of EEG. Especially, temporal feature extractors which share the weight among all the EEG channels are designed to adaptively extract dynamic context information from raw signals. Furthermore, multi-head self-attention mechanism within the transformers could adaptively localize the vital EEG fragments and emphasize the essential brain regions which contribute to the performance. To verify the effectiveness of the proposed method, we conduct the experiments on two public datasets, DEAP and MAHNOBHCI. The results demonstrate that the proposed method achieves outstanding performance on arousal and valence classification.

研究の動機と目的

• 感情認識の過程で生じるEEG信号内の冗長情報、特に強い感情反応が一時的に発現する短時間の期間における課題に対処すること。
• 複数のEEG電極間の複雑な空間的相関を効果的にモデル化しつつ、識別に寄与する時間的ダイナミクスを保持すること。
• 感情分類に関連する重要な脳領域および信号セグメントを適応的に同定する、頑健なディープラーニングフレームワークを構築すること。
• アーザルおよびヴァレンスの両次元において、公開のEEGベースの感情認識ベンチマーク、DEAPおよびMAHNOBHCIでの性能を向上させること。

提案手法

• すべてのEEGチャネルに共通する時間的特徴抽出器を適用し、生信号から動的文脈を抽出することで、冗長性を低減し、パラメータの効率性を向上させる。
• マルチヘッド自己注意機構を統合し、感情分類に最も寄与するEEG断片を適応的に局在化し、脳領域の強調を行う。
• 統一されたトランスフォーマー・アーキテクチャを用いて、生EEG時系列からの時間的表現と電極アレイ全体の空間的パターンを同時に学習する。
• 手作業による特徴工学を一切行わず、生EEGデータ上でエンドツーエンドに訓練することで、時間的および空間的表現の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一されたトランスフォーマー・モデルは、感情認識のための生EEG信号において、時間的ダイナミクスと空間的相関を効果的に捉えることができるか？
• RQ2 EEGチャネル間で共有される時間的特徴学習は、性能向上と冗長性低減にどのように寄与するか？
• RQ3 マルチヘッド自己注意機構は、感情分類に重要な脳領域および信号セグメントをどの程度正確に局在化できるか？
• RQ4 提案手法は、標準的なEEG感情認識ベンチマークで、既存の最先端モデルを上回る性能を示すか？

主な発見

• 提案手法は、アーザルおよびヴァレンス分類の両方において、DEAPデータセットで最先端の性能を達成し、先行手法を上回った。
• MAHNOBHCIデータセットにおいても、本手法はアーザルおよびヴァレンスの両次元において、既存のアプローチよりも優れた分類精度を示した。
• アブレーションスタディの結果、共有時間的特徴抽出とマルチヘッド自己注意機構の両方が、性能向上に顕著な寄与をしていることが確認された。
• 注意可視化の結果、モデルが効果的に重要なEEGセグメントおよび脳領域を特定・強調していることが明らかになった。これは、感情の神経生理学的相関と整合的であった。