[論文レビュー] Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion Recognition

Haoning Kan, Jiale Yu+3 more|arXiv (Cornell University)|Jul 12, 2022

EEG and Brain-Computer Interfaces被引用数 6

ひとこと要約

本稿では、刺激の一貫性をグループ内のEEGサンプル間で活用することで、自己教師ありのグループミオシス対照的学習（SGMC）フレームワークを提案する。新規のミオシスにインspiredされたデータ拡張法と、共有表現を学ぶためのグループプロジェクタを導入することで、ラベル付きデータが限られた状況下でも、DEAPデータセットにおける価値と覚醒の両分野で、94.72%および95.68%という最先端の精度を達成した。

ABSTRACT

The progress of EEG-based emotion recognition has received widespread attention from the fields of human-machine interactions and cognitive science in recent years. However, how to recognize emotions with limited labels has become a new research and application bottleneck. To address the issue, this paper proposes a Self-supervised Group Meiosis Contrastive learning framework (SGMC) based on the stimuli consistent EEG signals in human being. In the SGMC, a novel genetics-inspired data augmentation method, named Meiosis, is developed. It takes advantage of the alignment of stimuli among the EEG samples in a group for generating augmented groups by pairing, cross exchanging, and separating. And the model adopts a group projector to extract group-level feature representations from group EEG samples triggered by the same emotion video stimuli. Then contrastive learning is employed to maximize the similarity of group-level representations of augmented groups with the same stimuli. The SGMC achieves the state-of-the-art emotion recognition results on the publicly available DEAP dataset with an accuracy of 94.72% and 95.68% in valence and arousal dimensions, and also reaches competitive performance on the public SEED dataset with an accuracy of 94.04%. It is worthy of noting that the SGMC shows significant performance even when using limited labels. Moreover, the results of feature visualization suggest that the model might have learned video-level emotion-related feature representations to improve emotion recognition. And the effects of group size are further evaluated in the hyper parametric analysis. Finally, a control experiment and ablation study are carried out to examine the rationality of architecture. The code is provided publicly online.

研究の動機と目的

• 感情認識におけるラベル付きEEGデータの限界を克服するため、自己教師あり学習を活用すること。
• 手動ラベルに依存せずに、複数被験者からのEEGサンプル間の刺激の一貫性を活用して、対照的学習をガイドすること。
• 生物学的ミオシスにインspiredされた、刺激関連特徴を保持する新規のデータ拡張法の開発。
• 専用のグループプロジェクタと対照的損失を用いて、グループレベルの表現学習を向上させること。
• DEAPやSEEDのような公開EEG感情認識データセットにおける、フレームワークの頑健性と一般化性能の検証。

提案手法

• 同じ刺激グループに属するEEGサンプルをペアにし、交差して分離することで、拡張されたグループを生成する、遺伝学にインspiredされたデータ拡張技術「Meiosis」を導入。
• 同じ感情動画によって誘発された複数のEEGサンプルから、共有の高次元表現を抽出するためのグループプロジェクタを採用。
• 同一の刺激を持つ拡張グループのグループレベル表現間の類似性を最大化する対照的学習を実装。
• 刺激の一貫性に基づくポジティブ・ネガティブペアを設計し、モデルが感情関連特徴を学習するようにガイド。
• 安定な訓練と拡張ビュー間の不変表現学習を保証するため、対称的な損失関数を適用。
• 自己教師あり対照的学習による事前学習と、限られたラベルを用いた微調整の2段階パイプラインで、ベースエンコーダーとグループプロジェクタを訓練。

Figure 1: Illustration of the proposed SGMC. During the process of pre-training, each group of samples is sampled from EEG samples corresponding to the same video clip stimuli. Then each group of EEG samples is augmented by genetics inspired Meiosis data augmentation to generate two augmented group

実験結果

リサーチクエスチョン

• RQ1 複数被験者からのEEGサンプル間の刺激の一貫性を、自己教師あり感情認識の向上に効果的に活用できるか？
• RQ2 標準的なデータ拡張手法（例：Mixup）と比較して、提案されたMeiosisデータ拡張法は、感情関連特徴をどれほど効果的に保持できるか？
• RQ3 対照的EEG感情認識において、グループレベルの表現学習と個別サンプルの学習のそれぞれが果たす貢献度はどの程度か？
• RQ4 低ラベル環境下でのフレームワークの性能はどのようであり、完全に教師ありベースラインを上回るか？
• RQ5 特徴可視化の結果から、モデルがどの程度動画レベルの感情表現を学習しているか？

主な発見

• SGMCは、DEAPデータセットにおいて、価値分類で94.72%、覚醒分類で95.68%の最先端の精度を達成し、完全に教師ありベースラインを上回った。
• SEEDデータセットでは、94.04%の精度を達成し、ラベルが限られた状況下でも競争力のある性能を示した。
• アブレーションスタディの結果、Meiosis拡張を除去すると、DEAPで3%以上、SEEDで1.2%以上の精度低下が生じ、その重要性が確認された。
• グループ学習を排除したNon-groupバージョンでは、両データセットで1.5%以上の性能低下が生じ、グループ表現学習の重要性が裏付けられた。
• グループサンプルやMeiosisを除いたConsistent-onlyバージョンでさえ、DEAPでは完全に教師ありベースラインを1.7%上回り、SEEDでは0.6%上回った。これは、一貫性の利用可能性が示された。
• 特徴可視化の結果、モデルが動画レベルの感情関連表現を学習していることが示され、被験者間での一般化能力が裏付けられた。

Figure 2: The illustration of sampling for a minibatch. Sampler first samples $P$ video clip and $2Q$ subjects. For each sampled video clip, next the sampler samples a group of EEG signals recorded when sampled $2Q$ subject watched it. Then $P$ groups of EEG samples are obtained for a minibatch.