[论文解读] Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject Brain-Computer Interface

Yonghao Song, Lie Yang+2 more|arXiv (Cornell University)|Feb 8, 2021

EEG and Brain-Computer Interfaces参考文献 59被引用 14

一句话总结

本文提出了一种通用空间生成对抗网络（CS-GAN），用于跨被试脑-机接口（BCI）系统中的脑电信号（EEG）数据增强。通过在共享子空间中利用基于协方差的子空间实现空间特征保持，并结合类别判别损失进行对抗训练，CS-GAN 生成了高质量、被试特异的EEG数据，在BCI Competition IV Dataset 2a上的留一被试测试中，跨被试分类准确率提升了15.85%，在最小微调设置下提升了8.57%。

ABSTRACT

The cross-subject application of EEG-based brain-computer interface (BCI) has always been limited by large individual difference and complex characteristics that are difficult to perceive. Therefore, it takes a long time to collect the training data of each user for calibration. Even transfer learning method pre-training with amounts of subject-independent data cannot decode different EEG signal categories without enough subject-specific data. Hence, we proposed a cross-subject EEG classification framework with a generative adversarial networks (GANs) based method named common spatial GAN (CS-GAN), which used adversarial training between a generator and a discriminator to obtain high-quality data for augmentation. A particular module in the discriminator was employed to maintain the spatial features of the EEG signals and increase the difference between different categories, with two losses for further enhancement. Through adaptive training with sufficient augmentation data, our cross-subject classification accuracy yielded a significant improvement of 15.85% than leave-one subject-out (LOO) test and 8.57% than just adapting 100 original samples on the dataset 2a of BCI competition IV. Moreover, We designed a convolutional neural networks (CNNs) based classification method as a benchmark with a similar spatial enhancement idea, which achieved remarkable results to classify motor imagery EEG data. In summary, our framework provides a promising way to deal with the cross-subject problem and promote the practical application of BCI.

研究动机与目标

• 解决EEG信号中个体差异大导致的跨被试BCI性能受限的问题。
• 克服因被试特异性数据不足而导致的被试无关模型和迁移学习的局限性。
• 开发一种数据增强框架，能够在保留空间与频谱特征的同时增强EEG信号的类间可分性。
• 证明基于GAN的合成EEG数据生成可有效提升跨被试泛化能力，而无需大量校准。
• 建立一个具备空间增强的基准卷积神经网络（CNN）模型，用于运动想象EEG分类，以验证所提数据增强框架的有效性。

提出的方法

• 设计一种条件生成对抗网络架构（CS-GAN），根据被试和类别标签生成多通道EEG信号。
• 在判别器中引入CS模块，通过共享子空间中的协方差矩阵估计实现空间特征学习。
• 应用两种辅助损失：cov-loss以保持空间协方差结构，ev-loss以增强潜在空间中的类间分离。
• 采用自适应训练策略，将真实被试无关数据与生成数据联合混合，以微调分类器，无需严格区分预训练与微调阶段。
• 利用生成器与判别器之间的对抗训练，生成能够模拟真实数据统计分布的逼真EEG样本。
• 采用具有空间增强的CNN分类器作为基准模型，其空间特征学习原理与CS-GAN框架保持一致。

实验结果

研究问题

• RQ1 当仅有少量被试特异性数据时，基于GAN的数据增强是否能有效提升跨被试EEG分类性能？
• RQ2 在潜在空间中保持空间特征在生成EEG信号的质量与可分性方面有何影响？
• RQ3 所提出的CS-GAN框架在跨被试BCI应用中，与传统数据增强技术相比，性能提升程度如何？
• RQ4 通过cov-loss与ev-loss引入的空间特征约束，是否相比标准GAN能带来更好的跨被试泛化能力？
• RQ5 所提出的框架是否能通过仅使用少量被试特异性数据，实现有效适应，从而减少BCI系统的校准时间？

主要发现

• 与BCI Competition IV Dataset 2a上的留一被试（LOO）测试相比，所提出的CS-GAN框架在跨被试分类准确率上提升了15.85%。
• 仅使用100个原始被试特异性样本，CS-GAN增强模型相比简单微调实现了8.57%的准确率提升，展现出强大的数据效率。
• 具备空间增强的CNN基准模型在Dataset 2a的单被试分类任务中达到了最先进性能，验证了空间特征学习的有效性。
• 生成的EEG样本在时域、频域和空间域上均表现出与真实数据更高的分布相似性，表明合成质量优异。
• 该框架在个体差异较大的被试间表现出良好的泛化能力，表明对生理变异具有鲁棒性。
• 采用真实数据与生成数据混合的自适应训练策略优于严格的预训练-微调协议，表明其在实际部署中具备灵活性与高效性。