[论文解读] CLDTA: Contrastive Learning based on Diagonal Transformer Autoencoder for Cross-Dataset EEG Emotion Recognition

Yuan Liao, Yuhong Zhang+6 more|arXiv (Cornell University)|Jun 12, 2024

EEG and Brain-Computer Interfaces被引用 5

一句话总结

介绍 CLDTA，一种对比学习框架，搭配对角屏蔽的 transformer 自编码器，用以提升跨数据集的 EEG 情感识别与快速个体适应。

ABSTRACT

Recent advances in non-invasive EEG technology have broadened its application in emotion recognition, yielding a multitude of related datasets. Yet, deep learning models struggle to generalize across these datasets due to variations in acquisition equipment and emotional stimulus materials. To address the pressing need for a universal model that fluidly accommodates diverse EEG dataset formats and bridges the gap between laboratory and real-world data, we introduce a novel deep learning framework: the Contrastive Learning based Diagonal Transformer Autoencoder (CLDTA), tailored for EEG-based emotion recognition. The CLDTA employs a diagonal masking strategy within its encoder to extracts full-channel EEG data's brain network knowledge, facilitating transferability to the datasets with fewer channels. And an information separation mechanism improves model interpretability by enabling straightforward visualization of brain networks. The CLDTA framework employs contrastive learning to distill subject-independent emotional representations and uses a calibration prediction process to enable rapid adaptation of the model to new subjects with minimal samples, achieving accurate emotion recognition. Our analysis across the SEED, SEED-IV, SEED-V, and DEAP datasets highlights CLDTA's consistent performance and proficiency in detecting both task-specific and general features of EEG signals related to emotions, underscoring its potential to revolutionize emotion recognition research.

研究动机与目标

• 解决由于设备和刺激差异导致的 EEG 情感识别跨数据集泛化问题。
• 提出一个对角屏蔽编码器，以捕获全通道脑网络知识并实现向通道较少的数据集的迁移。
• 结合对比学习以提炼出主体无关的情感表征。
• 实现对新受试者在极少标注样本下的快速模型适应。

提出的方法

• 在编码器中使用对角屏蔽策略，从全通道 EEG 数据中提取脑网络信息。
• 采用 transformer 自编码器架构，对带有对角屏蔽的 EEG 信号进行建模。
• 整合对比学习目标，以学习主体不变的情感表征。
• 引入信息分离机制，以提升可解释性并可视化脑网络。
• 实现标定/预测流程，以用少量样本将模型适应到新受试者。

实验结果

研究问题

• RQ1 CLDTA 是否能够在 SEED、SEED-IV、SEED-V 和 DEAP 数据集之间实现跨数据集泛化？
• RQ2 对角屏蔽编码器是否能够有效将知识迁移到通道较少的数据集？
• RQ3 对比学习是否能够为 EEG 信号产生稳健的、主体无关的情感表征？
• RQ4 信息分离机制是否提升了对脑网络的可解释性？
• RQ5 模型在最少标注数据下多快能适应新受试者？

主要发现

• CLDTA 在多个 EEG 情感数据集上展现出稳定的性能。
• 对角屏蔽编码器捕捉脑网络信息，使得能够迁移到通道较少的数据集。
• 对比学习为情感相关的 EEG 信号产生主体不变的表征。
• 信息分离机制使脑网络的可视化更加直接。
• 标定/预测流程实现对新受试者在少量标注样本下的快速适应。