[论文解读] EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition

Rushuang Zhou, Weishan Ye+8 more|arXiv (Cornell University)|Mar 27, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出 EEGMatch，一种在标签稀缺条件下用于跨被试EEG情绪识别的半监督学习框架。该框架整合了EEG-Mixup数据增强、两步配对学习策略（原型级与实例级）、以及多域自适应，以对齐有标签源域、无标签源域和目标域之间的分布，从而在SEED和SEED-IV数据集上分别实现6.89%和1.44%的准确率提升，适用于不完整标签条件。

ABSTRACT

Electroencephalography (EEG) is an objective tool for emotion recognition and shows promising performance. However, the label scarcity problem is a main challenge in this field, which limits the wide application of EEG-based emotion recognition. In this paper, we propose a novel semi-supervised learning framework (EEGMatch) to leverage both labeled and unlabeled EEG data. First, an EEG-Mixup based data augmentation method is developed to generate more valid samples for model learning. Second, a semi-supervised two-step pairwise learning method is proposed to bridge prototype-wise and instance-wise pairwise learning, where the prototype-wise pairwise learning measures the global relationship between EEG data and the prototypical representation of each emotion class and the instance-wise pairwise learning captures the local intrinsic relationship among EEG data. Third, a semi-supervised multi-domain adaptation is introduced to align the data representation among multiple domains (labeled source domain, unlabeled source domain, and target domain), where the distribution mismatch is alleviated. Extensive experiments are conducted on two benchmark databases (SEED and SEED-IV) under a cross-subject leave-one-subject-out cross-validation evaluation protocol. The results show the proposed EEGmatch performs better than the state-of-the-art methods under different incomplete label conditions (with 6.89% improvement on SEED and 1.44% improvement on SEED-IV), which demonstrates the effectiveness of the proposed EEGMatch in dealing with the label scarcity problem in emotion recognition using EEG signals. The source code is available at https://github.com/KAZABANA/EEGMatch.

研究动机与目标

• 解决EEG情绪识别中标签稀缺的挑战，因为收集高质量的EEG标签数据成本高且耗时。
• 克服现有半监督方法的局限性，包括对非平稳EEG信号不合适的数据增强方法，以及在标签不完整情况下的低效学习。
• 缓解在跨被试情绪识别中，有标签与无标签源域之间以及源域与目标域之间的分布偏移问题。
• 开发一个统一框架，有效利用有标签和无标签的EEG数据，以提升模型在未见被试上的泛化能力和性能。

提出的方法

• 提出EEG-Mixup，一种专为EEG信号设计的数据增强方法，通过在试验间混合特征生成逼真的合成样本，同时尊重EEG的非平稳特性。
• 引入两步配对学习框架：首先，原型级学习度量EEG样本与类别原型之间的全局关系；其次，实例级学习捕捉样本之间的局部内在关系。
• 采用半监督多域自适应策略，对齐有标签源域、无标签源域和目标域之间的特征表示，减少分布偏移。
• 使用锐化函数为无标签数据生成伪标签，使模型能够在训练过程中实现自监督并不断优化预测。
• 结合互信息分析以解释模型行为，识别出对情绪识别最具信息量的EEG频段（β波段和γ波段）及脑区（顶枕区），与已知神经生理学发现一致。
• 在SEED和SEED-IV数据集上采用跨被试的留一被试排除评估协议，以模拟真实世界部署场景。

实验结果

研究问题

• RQ1 如何改进EEG数据增强方法，以尊重EEG信号的非平稳特性，并在标签稀缺条件下提升模型泛化能力？
• RQ2 结合原型级与实例级学习的两步配对学习框架，能否提升半监督EEG情绪识别中的表示学习能力？
• RQ3 在有标签源域、无标签源域和目标域之间联合进行多域自适应，能在多大程度上减少分布偏移并提升跨被试性能？
• RQ4 在不同标签稀缺水平下，所提出的EEGMatch框架与最先进方法相比，在准确率和鲁棒性方面表现如何？

主要发现

• 在SEED数据集上，EEGMatch在标签不完整条件下相比最先进方法实现了6.89%的准确率提升，证明了其在标签稀缺条件下的强大性能。
• 在SEED-IV数据集上，EEGMatch相比现有方法实现了1.44%的准确率增益，证实了其在不同基准数据集上的有效性。
• 所提出的EEG-Mixup增强方法有效增加了训练样本的多样性，并减少了过拟合，尤其在标签数据有限时效果显著。
• 互信息分析表明，顶枕区的β波段和γ波段对情绪识别最具信息量，与已知神经生理学发现一致。
• 半监督多域自适应显著减少了域偏移，提升了模型在跨被试评估中对未见被试的泛化能力。
• 两步配对学习框架通过同时捕捉全局类别级模式和局部样本级关系，增强了特征表示。