[论文解读] M3D: Manifold-based Domain Adaptation with Dynamic Distribution for Non-Deep Transfer Learning in Cross-subject and Cross-session EEG-based Emotion Recognition

Ting Luo, Jing Zhang+5 more|arXiv (Cornell University)|Apr 24, 2024

Emotion and Mood Recognition被引用 4

一句话总结

本文提出MDDD，一种用于跨被试和跨会话EEG情绪识别的非深度迁移学习框架，通过基于流形的域适应与动态分布对齐来减少域偏移。通过将EEG数据映射到Grassmann流形，并迭代对齐边缘分布与条件分布，MDDD提升了在不同被试和会话间的泛化能力，在非深度方法上实现了平均3.54%的准确率提升，性能与深度学习模型相当。

ABSTRACT

Emotion decoding using Electroencephalography (EEG)-based affective brain-computer interfaces (aBCIs) plays a crucial role in affective computing but is limited by challenges such as EEG's non-stationarity, individual variability, and the high cost of large labeled datasets. While deep learning methods are effective, they require extensive computational resources and large data volumes, limiting their practical application. To overcome these issues, we propose Manifold-based Domain Adaptation with Dynamic Distribution (M3D), a lightweight, non-deep transfer learning framework. M3D consists of four key modules: manifold feature transformation, dynamic distribution alignment, classifier learning, and ensemble learning. The data is mapped to an optimal Grassmann manifold space, enabling dynamic alignment of source and target domains. This alignment is designed to prioritize both marginal and conditional distributions, improving adaptation efficiency across diverse datasets. In classifier learning, the principle of structural risk minimization is applied to build robust classification models. Additionally, dynamic distribution alignment iteratively refines the classifier. The ensemble learning module aggregates classifiers from different optimization stages to leverage diversity and enhance prediction accuracy. M3D is evaluated on two EEG emotion recognition datasets using two validation protocols (cross-subject single-session and cross-subject cross-session) and a clinical EEG dataset for Major Depressive Disorder (MDD). Experimental results show that M3D outperforms traditional non-deep learning methods with a 4.47% average improvement and achieves deep learning-level performance with reduced data and computational requirements, demonstrating its potential for real-world aBCI applications.

研究动机与目标

• 解决EEG情绪识别中非平稳性和个体差异性带来的挑战，这些因素限制了模型在不同被试和会话间的泛化能力。
• 克服传统非深度学习方法假设数据独立同分布（i.i.d.）的局限性，这些方法在小样本、标注成本高的EEG数据集的跨域设置下表现不佳。
• 开发一种轻量级的非深度迁移学习框架，与深度学习方法相比，减少对大规模标注数据集和高计算资源的依赖。
• 通过利用流形几何动态对齐源域与目标域之间的边缘分布与条件分布，提升模型的鲁棒性与性能。
• 通过迭代分类器学习与集成学习，聚合优化阶段的模型，提升分类的可靠性。

提出的方法

• 将原始EEG信号映射到最优Grassmann流形空间，以更好地捕捉数据内在结构并减少域偏移。
• 实施动态分布对齐，根据数据特征自适应地调整边缘分布与条件分布在特征对齐过程中的重要性权重。
• 在分类器学习中引入结构风险最小化，构建在分布偏移下具有良好泛化能力的鲁棒模型。
• 通过动态分布对齐对分类器进行迭代优化，逐步提升预测性能。
• 采用LinkCLuE方法进行集成学习，聚合多个优化阶段的分类器，提升模型多样性与预测稳定性。
• 采用多阶段优化流程，依次应用流形变换、分布对齐、分类器学习与集成学习。

实验结果

研究问题

• RQ1 非深度迁移学习框架能否有效减少跨被试和跨会话EEG情绪识别中的域偏移？
• RQ2 在Grassmann流形上对边缘分布与条件分布进行动态对齐，相比静态对齐或单一分发对齐，如何提升模型泛化能力？
• RQ3 在低数据环境下，结合结构风险最小化的迭代分类器学习在多大程度上提升了分类的鲁棒性？
• RQ4 集成学习在多轮优化阶段中合成预测结果的效率如何，能否有效提升整体准确率与稳定性？
• RQ5 所提出的MDDD框架是否在仅需较少标注数据与计算成本的前提下，实现与深度学习模型相当的性能？

主要发现

• 在跨被试和跨会话EEG情绪识别任务中，MDDD相较于传统非深度学习方法实现了平均3.54%的准确率提升。
• 模型性能在超过10轮优化迭代后保持稳定，分类准确率此后波动极小。
• 学习过程中μ参数的动态调整反映了对边缘分布与条件分布的自适应加权，提升了数据表征与对齐效果。
• 采用LinkCLuE方法的集成学习优于平均法与投票策略，展现出更强的多轮迭代结果合成能力。
• 结合迭代优化的分类器学习显著降低了评估指标（如错误率），证实其对模型鲁棒性的积极影响。
• MDDD在小规模标注数据集和较低计算需求下，实现了与深度学习方法相当的性能，适用于真实世界aBCI应用。