[论文解读] Benchmarking Domain Generalization on EEG-based Emotion Recognition

Yan Li, Hao Chen+3 more|arXiv (Cornell University)|Apr 18, 2022

EEG and Brain-Computer Interfaces被引用 7

一句话总结

本论文在无目标域数据的情况下，基于多个源受试者对EEG情绪识别中的最先进领域泛化（DG）方法进行基准测试，训练模型以实现对未见用户的泛化。结果表明，通过精心调优的MLP基线模型与RSC DG方法，SEED数据集上的准确率可达到79.41%，证明了DG在实际BCI应用中实现零样本训练情绪识别的潜力。

ABSTRACT

Electroencephalography (EEG) based emotion recognition has demonstrated tremendous improvement in recent years. Specifically, numerous domain adaptation (DA) algorithms have been exploited in the past five years to enhance the generalization of emotion recognition models across subjects. The DA methods assume that calibration data (although unlabeled) exists in the target domain (new user). However, this assumption conflicts with the application scenario that the model should be deployed without the time-consuming calibration experiments. We argue that domain generalization (DG) is more reasonable than DA in these applications. DG learns how to generalize to unseen target domains by leveraging knowledge from multiple source domains, which provides a new possibility to train general models. In this paper, we for the first time benchmark state-of-the-art DG algorithms on EEG-based emotion recognition. Since convolutional neural network (CNN), deep brief network (DBN) and multilayer perceptron (MLP) have been proved to be effective emotion recognition models, we use these three models as solid baselines. Experimental results show that DG achieves an accuracy of up to 79.41\% on the SEED dataset for recognizing three emotions, indicting the potential of DG in zero-training emotion recognition when multiple sources are available.

研究动机与目标

• 评估在训练期间不提供目标域数据的情况下，领域泛化（DG）在EEG情绪识别中的可行性与有效性。
• 解决领域自适应（DA）方法的局限性，即其需要未标注的目标域数据，而这一条件在实际部署场景中不切实际。
• 基于SEED EEG数据集，使用强深度学习基线模型（CNN、DBN、MLP）对最先进DG算法建立基准。
• 识别在情绪识别任务中实现对未见受试者零样本泛化的最佳DG方法与基线组合。

提出的方法

• 该框架将每位受试者的EEG数据视为一个独立的领域，训练阶段使用多个源领域以学习领域不变特征。
• 评估六种代表性DG方法——ERM、DANN、RSC、Mixup、MMD和CORAL——以在不依赖目标数据的情况下减少受试者间的领域偏移。
• 采用三种深度学习基线模型：ResNet变体（18、34、50）、具有2–4个全连接层的MLP，以及包含两层RBM的DBN。
• 对于每种DG方法，模型在除一个受试者外的所有受试者上进行训练，该受试者被保留作为目标领域，性能在全部15种可能的目标受试者上取平均。
• 对学习率、批量大小（8、16、32）和训练周期数等超参数进行调优，以优化性能。
• 通过15次跨受试者评估的准确率均值与标准差来评估性能，以确保鲁棒性并降低方差。

实验结果

研究问题

• RQ1 领域泛化方法是否能有效提升在无任何目标域数据情况下的EEG数据情绪识别零样本训练性能？
• RQ2 在SEED数据集上，针对三类情绪识别任务，哪种DG方法与深度学习基线的组合能实现最高准确率？
• RQ3 学习率、批量大小和训练周期数等超参数如何影响DG方法在EEG情绪识别中的性能？
• RQ4 在跨受试者EEG情绪识别任务中，传统深度学习模型（如ResNet、MLP、DBN）与DG技术结合时，性能表现如何比较？

主要发现

• MLP-4基线模型与RSC领域泛化方法结合在SEED数据集上取得了最高的准确率79.41%，优于所有其他组合。
• 在所有DG方法中，Mixup在所有基线上的平均准确率最高（71.17%），表明其具备强大的泛化能力。
• MLP模型始终优于ResNet变体，表明CNN可能因EEG数据缺乏图像类空间结构而不适合该任务。
• DBN模型表现优于ResNet但逊于MLP，表明深度置信网络虽有效但并非该任务的最先进方法。
• 超参数调优显著影响性能，批量大小与训练周期数对DG方法的稳定性和准确率有明显影响。
• 该基准表明，结合合适基线的DG方法可在零样本训练情绪识别中实现高性能，适用于实际情感BCI应用。