[論文レビュー] CLDTA: Contrastive Learning based on Diagonal Transformer Autoencoder for Cross-Dataset EEG Emotion Recognition

Yuan Liao, Yuhong Zhang+6 more|arXiv (Cornell University)|Jun 12, 2024

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

CLDTAを紹介します。対角マスキング付きトランスフォーマーオートエンコーダを備えた対比学習フレームワークで、クロスデータセットのEEG感情認識を強化し、素早い被験者適応を実現します。

ABSTRACT

Recent advances in non-invasive EEG technology have broadened its application in emotion recognition, yielding a multitude of related datasets. Yet, deep learning models struggle to generalize across these datasets due to variations in acquisition equipment and emotional stimulus materials. To address the pressing need for a universal model that fluidly accommodates diverse EEG dataset formats and bridges the gap between laboratory and real-world data, we introduce a novel deep learning framework: the Contrastive Learning based Diagonal Transformer Autoencoder (CLDTA), tailored for EEG-based emotion recognition. The CLDTA employs a diagonal masking strategy within its encoder to extracts full-channel EEG data's brain network knowledge, facilitating transferability to the datasets with fewer channels. And an information separation mechanism improves model interpretability by enabling straightforward visualization of brain networks. The CLDTA framework employs contrastive learning to distill subject-independent emotional representations and uses a calibration prediction process to enable rapid adaptation of the model to new subjects with minimal samples, achieving accurate emotion recognition. Our analysis across the SEED, SEED-IV, SEED-V, and DEAP datasets highlights CLDTA's consistent performance and proficiency in detecting both task-specific and general features of EEG signals related to emotions, underscoring its potential to revolutionize emotion recognition research.

研究の動機と目的

• 機器と刺激の違いに起因するEEG感情認識のデータセット間一般化の問題に対処する。
• 全チャネル脳ネットワークの知識を捉え、チャネル数の少ないデータセットへ転移を可能にする対角マスキングエンコーダを提案する。
• 被験者に依存しない感情表現を蒸留するためにコントラスト学習を組み込む。
• 最小限のラベル付きサンプルで新しい被験者へ急速にモデルを適応させる。

提案手法

• エンコーダ内で対角マスキング戦略を用いて、全チャネルEEGデータから脳ネットワーク情報を抽出する。
• 対角マスキングを備えたEEG信号をモデル化するために、トランスフォーマーオートエンコーダアーキテクチャを採用する。
• 被験者不変の感情表現を学ぶためにコントラスト学習目的を統合する。
• 解釈性を向上させ、脳ネットワークを可視化するための情報分離機構を導入する。
• 少数のサンプルで新しい被験者へ適応させるキャリブレーション/予測プロセスを実装する。

実験結果

リサーチクエスチョン

• RQ1 CLDTAはSEED、SEED-IV、SEED-V、DEAPデータセット間でのデータセット横断の一般化を達成できるか？
• RQ2 対角マスキングエンコーダは、チャネル数が少ないデータセットへの知識転移を効果的に行えるか？
• RQ3 コントラスト学習はEEG信号に対して堅牢で被験者に依存しない感情表現を生み出せるか？
• RQ4 情報分離機構は脳ネットワークの解釈性を高めるか？
• RQ5 最小限のラベル付きデータでモデルは新しい被験者へどれだけ迅速に適応できるか？

主な発見

• CLDTAは複数のEEG感情データセットで一貫した性能を示す。
• 対角マスキングエンコーダは脳ネットワーク情報を捉え、チャネル数が少ないデータセットへの転送を可能にする。
• コントラスト学習は感情関連EEG信号の被験者不変表現を生み出す。
• 情報分離機構は脳ネットワークの直感的な可視化を促進する。
• キャリブレーション/予測プロセスは少数のラベル付きサンプルで新しい被験者へ迅速に適応を可能にする。