[论文解读] Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models

Yun Luo, Lizhen Zhu+2 more|arXiv (Cornell University)|Jun 4, 2020

EEG and Brain-Computer Interfaces参考文献 65被引用 4

一句话总结

本文提出三种深度生成模型——cWGAN、sVAE 和 sWGAN——用于基于 EEG 的情绪识别中的数据增强，利用变分自编码器和生成对抗网络生成逼真的功率谱密度和微分熵特征。通过使用高质量的合成样本增强训练数据，该方法在 SEED 数据集上将分类准确率提升最高达 10.2%，在 DEAP 数据集上提升最高达 5.4%，其中选择性生成优于完整增强。

ABSTRACT

The data scarcity problem in emotion recognition from electroencephalography (EEG) leads to difficulty in building an affective model with high accuracy using machine learning algorithms or deep neural networks. Inspired by emerging deep generative models, we propose three methods for augmenting EEG training data to enhance the performance of emotion recognition models. Our proposed methods are based on two deep generative models, variational autoencoder (VAE) and generative adversarial network (GAN), and two data augmentation strategies. For the full usage strategy, all of the generated data are augmented to the training dataset without judging the quality of the generated data, while for partial usage, only high-quality data are selected and appended to the training dataset. These three methods are called conditional Wasserstein GAN (cWGAN), selective VAE (sVAE), and selective WGAN (sWGAN). To evaluate the effectiveness of these methods, we perform a systematic experimental study on two public EEG datasets for emotion recognition, namely, SEED and DEAP. We first generate realistic-like EEG training data in two forms: power spectral density and differential entropy. Then, we augment the original training datasets with a different number of generated realistic-like EEG data. Finally, we train support vector machines and deep neural networks with shortcut layers to build affective models using the original and augmented training datasets. The experimental results demonstrate that the augmented training datasets produced by our methods enhance the performance of EEG-based emotion recognition models and outperform the existing data augmentation methods such as conditional VAE, Gaussian noise, and rotational data augmentation.

研究动机与目标

• 解决基于 EEG 的情绪识别中数据稀缺的关键挑战，即有限的标注数据集限制了深度学习的性能。
• 开发深度生成模型，以生成逼真且高质量的 EEG 特征，用于增强现有训练数据。
• 通过提升训练数据的多样性与分布覆盖范围，增强情绪识别模型的鲁棒性与准确性。
• 研究不同数量生成样本对模型性能的影响，识别最优的数据增强阈值。
• 比较基于 VAE 和 GAN 的生成模型在完整增强与选择性增强策略下的有效性。

提出的方法

• 采用条件 Wasserstein GAN（cWGAN）生成基于情绪标签的 EEG 特征，确保实现类别特定的数据合成。
• 实施选择性 VAE（sVAE），通过重构损失或判别置信度筛选仅高质量输出的样本。
• 使用带有质量判别器的选择性 WGAN（sWGAN），仅选择外观逼真的生成 EEG 特征用于训练增强。
• 生成两类 EEG 特征：功率谱密度（PSD）和微分熵（DE），这两者是 EEG 分析中的标准表示形式。
• 采用完整（所有生成数据）和部分（仅高质量数据）两种策略，将生成样本加入原始训练集。
• 使用支持向量机（SVM）和带有跳跃连接的深度神经网络，在原始数据集和增强数据集上训练并评估情绪识别模型。

实验结果

研究问题

• RQ1 深度生成模型能否有效合成逼真的 EEG 特征，以缓解情绪识别中的数据稀缺问题？
• RQ2 与完整增强（所有生成数据）相比，仅使用高质量样本的选择性数据增强在提升模型准确率方面表现如何？
• RQ3 在性能因噪声或低质量数据而开始下降之前，应添加多少数量的生成样本为最佳？
• RQ4 在 EEG 数据增强方面，VAE 与 GAN 基于模型在准确率、稳定性及训练时间上的表现如何？
• RQ5 合成 EEG 数据的引入是否能提升情绪识别模型在多个数据集和分类器上的泛化能力与鲁棒性？

主要发现

• 与基线模型相比，所提方法在 SEED 数据集上将情绪识别准确率最高提升 10.2%，在 DEAP 数据集上最高提升 5.4%。
• 选择性 WGAN（sWGAN）在所有方法中取得了最高的分类性能，优于 sVAE 和 cWGAN。
• 当添加的生成样本数量超过原始训练集大小的 10 倍时，性能开始下降，表明存在一个阈值，超过该阈值后噪声会降低模型准确率。
• sVAE 在训练稳定性方面优于基于 GAN 的方法，因其避免了模式崩溃等对抗训练不稳定性问题。
• cWGAN 具有最快的收敛速度，因其使用了所有生成样本而无需质量过滤，但因包含低质量数据而导致准确率较低。
• 生成数据通过扩展数据流形并形成更优的决策边界，提升了模型的泛化能力，尤其在使用高质量样本时效果更明显。