[論文レビュー] DuA: Dual Attentive Transformer in Long-Term Continuous EEG Emotion Analysis

Yue Pan, Qile Liu+7 more|arXiv (Cornell University)|Jul 30, 2024

Emotion and Mood Recognition被引用数 4

ひとこと要約

本論文では、長期間にわたる連続的EEG感情分析のためのDual Attentive Transformerフレームワーク、DuAを提案する。本フレームワークは、EEG試行を分割された区間ではなく、単一のユニットとして処理する。空間的・スペクトル的および時間的アテンションメカニズムを統合し、転移学習を適用することで、試行ベースのクロス・オブザ・サブジェクト検証において、既存手法よりも平均5.28%の精度向上を達成し、可変長EEGデータに対して優れた性能と頑健性を示した。

ABSTRACT

Affective brain-computer interfaces (aBCIs) are increasingly recognized for their potential in monitoring and interpreting emotional states through electroencephalography (EEG) signals. Current EEG-based emotion recognition methods perform well with short segments of EEG data. However, these methods encounter significant challenges in real-life scenarios where emotional states evolve over extended periods. To address this issue, we propose a Dual Attentive (DuA) transformer framework for long-term continuous EEG emotion analysis. Unlike segment-based approaches, the DuA transformer processes an entire EEG trial as a whole, identifying emotions at the trial level, referred to as trial-based emotion analysis. This framework is designed to adapt to varying signal lengths, providing a substantial advantage over traditional methods. The DuA transformer incorporates three key modules: the spatial-spectral network module, the temporal network module, and the transfer learning module. The spatial-spectral network module simultaneously captures spatial and spectral information from EEG signals, while the temporal network module detects temporal dependencies within long-term EEG data. The transfer learning module enhances the model's adaptability across different subjects and conditions. We extensively evaluate the DuA transformer using a self-constructed long-term EEG emotion database, along with two benchmark EEG emotion databases. On the basis of the trial-based leave-one-subject-out cross-subject cross-validation protocol, our experimental results demonstrate that the proposed DuA transformer significantly outperforms existing methods in long-term continuous EEG emotion analysis, with an average enhancement of 5.28%.

研究の動機と目的

• 現実世界の長期間にわたる感情状態において、セグメントベースのEEG感情認識の限界を解消すること。
• 全EEG試行を統一されたシーケンスとして処理できるフレームワークの開発により、長期的な時間的依存関係を保持すること。
• 転移学習とマルチモーダルアテンションを活用し、被験者および状況間でのモデル一般化を向上させること。
• LSTMのような再帰モデルが長期間EEGシーケンスを処理する際、勾配消失問題を克服すること。
• 感情認識BCIシステムにおける連続的・試行レベルの感情認識に適した、頑健でスケーラブルなトランスフォーマー基盤アーキテクチャを確立すること。

提案手法

• DuAフレームワークは、マルチヘッド自己アテンションを用いて、空間的およびスペクトル的特徴を同時に捉える空間的・スペクトル的ネットワークモジュールを採用する。
• 時間的ネットワークモジュールは、マルチヘッド自己アテンションを用いて、全EEG試行シーケンス全体の長距離依存関係をモデル化する。
• 転移学習モジュールは、多様なデータ分布で微調整することで、被験者および条件間での一般化を向上させる。
• モデルは全長のEEG試行をエンド・ツー・エンドで処理し、短いセグメント分析に内在するセグメンテーションバイアスを回避する。
• アテンションヘッド数、ネットワークの深さ、隠れ層サイズのハイパーパrameter感度分析を実施し、頑健性と効率性を確保する。
• 本フレームワークは、現実世界の展開を模擬するため、試行ベースの1人被験者を除いたクロスバリデーションプロトコルで評価される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、短いセグメントに依存せず、長期間EEG試行を単一ユニットとして効果的に処理し、感情認識に応用可能か？
• RQ2 空間的・スペクトル的および時間的アテンションの統合は、連続的EEGデータにおける認識性能をどのように向上させるか？
• RQ3 転移学習モジュールは、異なる被験者および感情状態間でのモデル一般化をどの程度向上させるか？
• RQ4 LSTMのような再帰モデルと比較して、DuAフレームワークは長期間EEGシーケンスを処理する際にどのように優れているか？
• RQ5 最適なパフォーマンスを達成するためのハイパーパrameter設定は何か？ また、感度と計算コストの両面で最小限に抑えることは可能か？

主な発見

• 複数のデータベースにおける試行ベースの1人被験者を除いたクロスバリデーションにおいて、DuAトランスフォーマーは既存手法よりも平均5.28%の精度向上を達成した。
• 時間的ネットワークモジュールは、2クラス分類でLSTMを7.00%、3クラス分類で15.00%、5クラス分類で12.84%上回り、長期間シーケンスのモデリング能力に優れていることが示された。
• ハイパーパrameterの変更に対して低い感度を示し、ヘッド数、レイヤー数、隠れ層サイズを中程度の値に設定するだけで最適なパフォーマンスが達成可能である。
• トランスフォーマーでは自己回帰的計算が存在しないため、勾配消失が発生せず、長期間EEGシーケンスにおける有効な学習が可能である。
• 空間的・スペクトル的モジュールは、補完的な空間的およびスペクトル的EEG特徴を効果的に捉え、表現品質を向上させた。
• 転移学習モジュールは被験者間パフォーマンスを顕著に向上させ、多様な参加者間での一般化に果たす役割を確認した。