[論文レビュー] GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition

Zhi Zhang, Sheng-hua Zhong+1 more|arXiv (Cornell University)|Sep 7, 2021

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

本論文では、敵対的訓練とマスキングに基づくデータ拡張を用いて、高品質で多様な合成EEGサンプルを生成することで、EEGに基づく感情認識を向上させる自己教師あり生成的敵対ネットワークフレームワーク、GANSERを提案する。敵対的生成と多因子自己教師あり学習を組み合わせることで、GANSERはDREAMERデータセットにおいて最先端の性能を達成し、感情の価値（valence）分類精度を85.28%、覚醒度（arousal）分類精度を84.16%まで向上させた。

ABSTRACT

The data scarcity problem in Electroencephalography (EEG) based affective computing results into difficulty in building an effective model with high accuracy and stability using machine learning algorithms especially deep learning models. Data augmentation has recently achieved considerable performance improvement for deep learning models: increased accuracy, stability, and reduced over-fitting. In this paper, we propose a novel data augmentation framework, namely Generative Adversarial Network-based Self-supervised Data Augmentation (GANSER). As the first to combine adversarial training with self-supervised learning for EEG-based emotion recognition, the proposed framework can generate high-quality and high-diversity simulated EEG samples. In particular, we utilize adversarial training to learn an EEG generator and force the generated EEG signals to approximate the distribution of real samples, ensuring the quality of augmented samples. A transformation function is employed to mask parts of EEG signals and force the generator to synthesize potential EEG signals based on the remaining parts, to produce a wide variety of samples. The masking possibility during transformation is introduced as prior knowledge to guide to extract distinguishable features for simulated EEG signals and generalize the classifier to the augmented sample space. Finally, extensive experiments demonstrate our proposed method can help emotion recognition for performance gain and achieve state-of-the-art results.

研究の動機と目的

• EEGに基づく感情認識におけるデータ不足問題に対処し、モデルの精度と一般化性能を制限する要因を軽減すること。
• 深層学習モデルの性能を向上させるために、高品質で多様な合成EEG信号を生成するデータ拡張フレームワークを開発すること。
• 低データ環境における特徴表現の向上を図るため、敵対的訓練と自己教師あり学習を統合すること。
• マスキング操作を事前知識として活用し、拡張されたEEGサンプル上の特徴学習をガイドすること。
• DEAPやDREAMERなどのベンチマークEEG感情認識データセットで最先端の性能を達成すること。

提案手法

• フレームワークは2つのネットワークから構成される：合成EEG信号を生成するための敵対的拡張ネットワーク（AAN）と、分類器の学習のための多因子学習ネットワーク（MTN）である。
• AANは、実際のEEG信号の一部をランダムにマスキングする変換を採用し、生成器が妥当な欠落部分を再構築するように強制する。
• 生成器は、チャネルマスキングとSTNetを組み合わせたUNetアーキテクチャを用い、EEGの空間的・時間的特徴を効果的にモデル化する。
• 敵対的訓練により、生成されたEEG信号が実際のEEGデータの分布に近づくように保証され、サンプルの品質が向上する。
• MTNにおける多因子自己教師あり学習損失は、マスキング確率を事前知識として用い、拡張されたサンプル上の特徴学習をガイドする。
• フレームワークは、実際のサンプルと生成されたサンプルの両方で感情分類器をファインチューニングし、拡張されたデータ空間全体での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練と自己教師あり学習を組み合わせることで、データ拡張に適した高品質で多様な合成EEG信号の品質と多様性が向上するか？
• RQ2 マスキング確率という事前知識を活用したマスキングベースのデータ拡張は、EEGに基づく感情認識における特徴学習をどのように向上させるか？
• RQ3 提案されたGANSERフレームワークは、DEAPやDREAMERなどのベンチマークEEG感情認識データセットで最先端の性能を達成できるか？
• RQ4 EEGに基づく感情計算の典型的な低データ環境において、このフレームワークは過学習をどの程度軽減できるか？
• RQ5 UNetとSTNetによる空間的・時間的モデリングの統合は、生成されたEEG信号の現実性をどのように向上させるか？

主な発見

• GANSERはDREAMERデータセットにおいて、価値（valence）分類精度が85.28%を達成し、比較されたすべての最先端手法を上回った。
• フレームワークは覚醒度（arousal）分類精度84.16%を達成し、両方の感情次元において優れた性能を示した。
• 敵対的および自己教師あり学習による生成された合成EEGサンプルを効果的に活用することで、モデルの一般化性能が顕著に向上した。
• 自己教師あり損失におけるマスキング確率を事前知識として用いることで、拡張データ上の特徴の判別能力が向上した。
• フレームワークはDEAPおよびDREAMERデータセットの両方で頑健な性能を示し、異なるEEG感情認識ベンチマークへの一般化可能性を確認した。
• 結果から、GANベースの生成と自己教師あり学習を組み合わせることは、低データEEG応用におけるデータ拡張に非常に効果的な戦略であることが確認された。