[論文レビュー] EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition

Rushuang Zhou, Weishan Ye+8 more|arXiv (Cornell University)|Mar 27, 2023

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本稿では、ラベル不足下での被験者間EEGを用いた感情認識のための半教師あり学習フレームワークであるEEGMatchを提案する。ラベル不足下でSEEDおよびSEED-IVでそれぞれ6.89%および1.44%の精度向上を達成する。EEG-Mixupによるデータ拡張、2段階のペairwise学習戦略（プロトタイプ単位およびインスタンス単位）、および複数ドメインの適応を統合し、ラベル付きソースドメイン、ラベルなしソースドメイン、ターゲットドメイン間の分布を一致させる。

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition and shows promising performance. However, the label scarcity problem is a main challenge in this field, which limits the wide application of EEG-based emotion recognition. In this paper, we propose a novel semi-supervised learning framework (EEGMatch) to leverage both labeled and unlabeled EEG data. First, an EEG-Mixup based data augmentation method is developed to generate more valid samples for model learning. Second, a semi-supervised two-step pairwise learning method is proposed to bridge prototype-wise and instance-wise pairwise learning, where the prototype-wise pairwise learning measures the global relationship between EEG data and the prototypical representation of each emotion class and the instance-wise pairwise learning captures the local intrinsic relationship among EEG data. Third, a semi-supervised multi-domain adaptation is introduced to align the data representation among multiple domains (labeled source domain, unlabeled source domain, and target domain), where the distribution mismatch is alleviated. Extensive experiments are conducted on two benchmark databases (SEED and SEED-IV) under a cross-subject leave-one-subject-out cross-validation evaluation protocol. The results show the proposed EEGmatch performs better than the state-of-the-art methods under different incomplete label conditions (with 6.89% improvement on SEED and 1.44% improvement on SEED-IV), which demonstrates the effectiveness of the proposed EEGMatch in dealing with the label scarcity problem in emotion recognition using EEG signals. The source code is available at https://github.com/KAZABANA/EEGMatch.

研究の動機と目的

• 高品質なラベル付きEEGデータの収集が費用がかかり、時間がかかるため、EEGベースの感情認識におけるラベル不足の課題に対処すること。
• 従来の半教師あり手法の限界、特に非定常なEEG信号に不適切なデータ拡張と不完全ラベル下での非効率な学習を克服すること。
• 被験者間感情認識において、ラベル付きソースドメインとラベルなしソースドメイン間、およびソースドメインとターゲットドメイン間の分布シフトを軽減すること。
• ラベル付きおよびラベルなしEEGデータを効果的に活用し、未観測の被験者に対するモデルの汎化性能と性能を向上させる統合フレームワークの開発。

提案手法

• EEG信号に特化したデータ拡張法であるEEG-Mixupを提案。非定常なEEGの性質を尊重しながら、試行間の特徴を混合することで、現実的で合成されたサンプルを生成する。
• 2段階のペアワイズ学習フレームワークを導入：まず、プロトタイプ単位の学習でEEGサンプルとクラスプロトタイプ間のグローバルな関係を測定する。次に、インスタンス単位の学習でサンプル間の局所的内在的関係を捉える。
• ラベル付きソース、ラベルなしソース、ターゲットの3ドメイン間の特徴表現を一致させる半教師ありの複数ドメイン適応戦略を採用。分布シフトを低減する。
• 不確実性を低減するためのシャープニング関数を用いて、ラベルなしデータの疑似ラベルを生成。これにより、訓練中に自己教師あり学習を行い、予測を精緻化できる。
• モデルの挙動を解釈するための相互情報量分析を統合。感情認識に最も有用なEEG周波数帯域（β帯およびγ帯）と脳領域（頭頂後頭部領域）を同定。
• SEEDおよびSEED-IVデータセットに対して、被験者を1人ずつ除外するクロス被験者評価プロトコルを適用。実世界の実装シナリオを模擬する。

実験結果

リサーチクエスチョン

• RQ1 EEG信号の非定常特性を尊重しつつ、ラベル不足下でのモデルの汎化性能を向上させるために、EEGデータ拡張をどのように改善できるか？
• RQ2 プロトタイプ単位とインスタンス単位の学習を統合した2段階ペアワイズ学習フレームワークは、半教師ありEEGベースの感情認識における表現学習をどのように向上させるか？
• RQ3 ラベル付きソース、ラベルなしソース、ターゲットドメインの3つを統合した複数ドメイン適応により、分布シフトをどの程度低減でき、被験者間性能を向上させられるか？
• RQ4 さまざまなラベル不足レベル下で、提案されたEEGMatchフレームワークは最先端手法と比較して、精度と頑健性の面でどの程度優れているか？

主な発見

• ラベル不足下で、SEEDデータセットにおいて最先端手法を上回る6.89%の精度向上を達成。ラベル不足下での優れた性能を示している。
• SEED-IVデータセットでは、既存手法と比較して1.44%の精度向上を達成。異なるベンチマークデータセットでも有効性が確認された。
• 提案されたEEG-Mixup拡張法は、訓練サンプルの多様性を高め、特にラベル付きデータが限られた状況での過学習を効果的に低減した。
• 相互情報量分析により、β帯およびγ帯のEEG周波数帯域と頭頂後頭部領域が感情認識に最も情報量が多く、既知の神経生理学的知見と整合した。
• 半教師ありの複数ドメイン適応により、ドメインシフトが顕著に低減され、被験者間評価における未観測被験者へのモデルの汎化性能が向上した。
• 2段階ペアワイズ学習フレームワークにより、グローバルなクラスレベルのパターンとローカルなサンプルレベルの関係を同時に捉えることで、特徴表現が向上した。