[论文解读] GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition

Zhi Zhang, Sheng-hua Zhong+1 more|arXiv (Cornell University)|Sep 7, 2021

EEG and Brain-Computer Interfaces被引用 10

一句话总结

本文提出 GANSER，一种自监督生成对抗网络框架，通过对抗训练和基于掩码的数据增强，生成高质量、多样化的合成 EEG 样本，从而提升基于 EEG 的情绪识别性能。通过结合对抗生成与多因素自监督学习，GANSER 在 DREAMER 数据集上实现最先进性能，情绪分类准确率分别达到 85.28%（效价）和 84.16%（唤醒度）。

ABSTRACT

The data scarcity problem in Electroencephalography (EEG) based affective computing results into difficulty in building an effective model with high accuracy and stability using machine learning algorithms especially deep learning models. Data augmentation has recently achieved considerable performance improvement for deep learning models: increased accuracy, stability, and reduced over-fitting. In this paper, we propose a novel data augmentation framework, namely Generative Adversarial Network-based Self-supervised Data Augmentation (GANSER). As the first to combine adversarial training with self-supervised learning for EEG-based emotion recognition, the proposed framework can generate high-quality and high-diversity simulated EEG samples. In particular, we utilize adversarial training to learn an EEG generator and force the generated EEG signals to approximate the distribution of real samples, ensuring the quality of augmented samples. A transformation function is employed to mask parts of EEG signals and force the generator to synthesize potential EEG signals based on the remaining parts, to produce a wide variety of samples. The masking possibility during transformation is introduced as prior knowledge to guide to extract distinguishable features for simulated EEG signals and generalize the classifier to the augmented sample space. Finally, extensive experiments demonstrate our proposed method can help emotion recognition for performance gain and achieve state-of-the-art results.

研究动机与目标

• 解决基于 EEG 的情绪识别中的数据稀缺问题，该问题限制了模型的准确率和泛化能力。
• 开发一种数据增强框架，生成高质量、多样化的合成 EEG 信号，以提升深度学习模型的性能。
• 在低数据环境下，通过将对抗训练与自监督学习相结合，提升特征表示能力。
• 利用掩码操作作为先验知识，指导增强后 EEG 样本的特征学习。
• 在 DEAP 和 DREAMER 等基准 EEG 情绪识别数据集上实现最先进性能。

提出的方法

• 该框架包含两个网络：用于生成合成 EEG 信号的对抗增强网络（AAN）和用于分类器训练的多因素训练网络（MTN）。
• AAN 采用掩码变换，随机掩码真实 EEG 信号的部分区域，迫使 GAN 生成器重建合理的缺失片段。
• 生成器采用 UNet 架构，结合通道掩码和 STNet，以有效建模 EEG 的时空特征。
• 对抗训练确保生成的 EEG 信号在分布上与真实 EEG 数据高度接近，从而提升样本质量。
• MTN 中的多因素自监督学习损失利用掩码概率作为先验知识，指导增强样本的特征学习。
• 该框架在真实样本和生成样本上联合微调情绪分类器，提升在增强数据空间中的泛化能力。

实验结果

研究问题

• RQ1 结合对抗训练与自监督学习是否能提升用于数据增强的合成 EEG 信号的质量与多样性？
• RQ2 基于掩码的数据增强结合掩码概率的先验知识，如何增强 EEG 基于情绪识别中的特征学习？
• RQ3 所提出的 GANSER 框架是否能在基准 EEG 情绪识别数据集上实现最先进性能？
• RQ4 该框架在典型低数据量的 EEG 情绪计算场景中，多大程度上缓解了过拟合问题？
• RQ5 通过 UNet 和 STNet 集成的时空建模，如何提升生成 EEG 信号的真实性？

主要发现

• GANSER 在 DREAMER 数据集上实现了 85.28% 的效价分类准确率，优于所有对比的最先进方法。
• 该框架在唤醒度分类上达到 84.16% 的准确率，表明在两种情绪维度上均表现出色。
• 通过有效利用对抗训练与自监督训练生成的合成 EEG 样本，该方法显著提升了模型的泛化能力。
• 在自监督损失中引入掩码概率作为先验知识，增强了在增强数据上学习到的特征的判别能力。
• 该框架在 DEAP 和 DREAMER 两个数据集上均表现出稳健性能，证实其在不同 EEG 情绪识别基准上的泛化能力。
• 结果证实，将基于 GAN 的生成与自监督学习相结合，是低数据量 EEG 应用中数据增强的高效策略。