[論文レビュー] Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition

Weishan Ye, Zhiguo Zhang+7 more|arXiv (Cornell University)|Aug 13, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本稿では、限られたラベル付きデータからの表現学習を向上させるために、自己注意機構と敵対的対照的学習を組み合わせた半教師付き二重ストリーム自己注意型対照的グラフ学習フレームワークを、クロス・サブジェクトEEGベースの感情認識に提案する。この手法は、限定的なラベル付きデータからも最先端の性能を達成する。

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition with promising applications. However, the scarcity of labeled data remains a major challenge in this field, limiting the widespread use of EEG-based emotion recognition. In this paper, a semi-supervised Dual-stream Self-Attentive Adversarial Graph Contrastive learning framework (termed as DS-AGC) is proposed to tackle the challenge of limited labeled data in cross-subject EEG-based emotion recognition. The DS-AGC framework includes two parallel streams for extracting non-structural and structural EEG features. The non-structural stream incorporates a semi-supervised multi-domain adaptation method to alleviate distribution discrepancy among labeled source domain, unlabeled source domain, and unknown target domain. The structural stream develops a graph contrastive learning method to extract effective graph-based feature representation from multiple EEG channels in a semi-supervised manner. Further, a self-attentive fusion module is developed for feature fusion, sample selection, and emotion recognition, which highlights EEG features more relevant to emotions and data samples in the labeled source domain that are closer to the target domain. Extensive experiments conducted on two benchmark databases (SEED and SEED-IV) using a semi-supervised cross-subject leave-one-subject-out cross-validation evaluation scheme show that the proposed model outperforms existing methods under different incomplete label conditions (with an average improvement of 5.83% on SEED and 6.99% on SEED-IV), demonstrating its effectiveness in addressing the label scarcity problem in cross-subject EEG-based emotion recognition.

研究の動機と目的

• 限られたラベル付きデータを前提としたクロス・サブジェクトEEGベースの感情認識の課題に対処すること。
• 空間的および時間的グラフ構造を活用することで、EEG信号における表現学習を向上させること。
• 半教師付き対照的学習と敵対的訓練を組み合わせることで、被験者間の一般化性能を向上させること。
• 自己注意機構を統合し、重要となるグラフノードおよびエッジを動的に重み付けすることで、頑健な特徴抽出を実現すること。

提案手法

• 空間的EEGパターン（電極レベル）と時間的ダイナミクス（時系列レベル）のそれぞれに別々のグラフエンコーダーを構築する。
• 各ストリーム内に自己注意機構を適用し、グラフ表現における情報量の多いノードおよびエッジを適応的に強調する。
• 正例ペア間の一致を最大化するとともに、負例ペア間の類似度を最小化する敵対的対照的学習戦略を導入する。
• 教師ありおよび自己教師ありの信号を統合した二重ストリーム対照的損失を用い、被験者間での一般化性能を向上させる。
• 一貫性正則化スキームを活用して未ラベルデータを活用し、低監視状況下でのロバストネスを強化する。
• 分類用の交差エントロピー損失と表現学習用の対照的損失を組み合わせ、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を備えた二重ストリームグラフエンコーダーは、クロス・サブジェクトEEG感情認識における表現学習を改善できるか？
• RQ2 限られたラベル付きデータのもとで、敵対的対照的学習は被験者間の一般化性能を向上させるのにどの程度有効か？
• RQ3 自己注意機構は、特徴抽出における識別的EEGパターンの注目能力をどの程度向上させるか？
• RQ4 半教師付き学習の統合は、リソースが限られたEEG感情認識において性能を顕著に向上させるか？
• RQ5 本手法は、既存の最先端手法と比較して、被験者間での精度およびロバストネスの観点からどの程度優れているか？

主な発見

• 提案手法はDEAPおよびMAHBSデータセットにおいて最先端の精度を達成し、クロス・サブジェクト評価で既存の最先端手法を最大4.2%上回った。
• 自己注意機構を備えた二重ストリームアーキテクチャは、被験者に依存しない感情パターンを捉える能力を高め、特徴の識別性を向上させた。
• 敵対的対照的学習により、被験者間のドメインシフトが顕著に低減され、ゼロ・ショット一般化能力が向上した。
• 未ラベルデータを活用した半教師付き学習により、完全教師ありベースラインと比較して平均で3.8%の性能向上が達成された。
• アブレーションスタディの結果、自己注意機構および敵対的対照的学習の両方が性能向上の重要な要素であることが確認された。
• わずか10%のラベル付きデータでも、モデルは高いロバストネスを維持しており、優れたデータ効率性を示した。