[论文解读] EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition

Yi Ding, Chengxuan Tong+5 more|arXiv (Cornell University)|Jun 26, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

EmT 是一种新颖的图注意力模型，通过建模长期时间上下文和多视角脑连接，提升了通用跨被试EEG情绪识别性能。它采用时间图构建模块生成动态EEG特征图，利用残差多视角金字塔GCN（RMPG）学习多样的空间连接，结合具有双标记混合器的时间上下文变换器（TCT）捕捉序列依赖关系，在四个公开数据集上均实现了分类与回归任务的最先进性能。

ABSTRACT

Integrating prior knowledge of neurophysiology into neural network architecture enhances the performance of emotion decoding. While numerous techniques emphasize learning spatial and short-term temporal patterns, there has been limited emphasis on capturing the vital long-term contextual information associated with emotional cognitive processes. In order to address this discrepancy, we introduce a novel transformer model called emotion transformer (EmT). EmT is designed to excel in both generalized cross-subject EEG emotion classification and regression tasks. In EmT, EEG signals are transformed into a temporal graph format, creating a sequence of EEG feature graphs using a temporal graph construction module (TGC). A novel residual multi-view pyramid GCN module (RMPG) is then proposed to learn dynamic graph representations for each EEG feature graph within the series, and the learned representations of each graph are fused into one token. Furthermore, we design a temporal contextual transformer module (TCT) with two types of token mixers to learn the temporal contextual information. Finally, the task-specific output module (TSO) generates the desired outputs. Experiments on four publicly available datasets show that EmT achieves higher results than the baseline methods for both EEG emotion classification and regression tasks. The code is available at https://github.com/yi-ding-cs/EmT.

研究动机与目标

• 解决现有EEG情绪识别模型中长期上下文建模不足的问题。
• 将神经生理先验知识（如动态脑连接与半球不对称性）整合到深度学习架构中。
• 构建一个统一框架，实现在跨被试EEG情绪识别中分类与回归任务的稳健表现。
• 使模型能够学习与不同认知过程相对应的多种、多样的脑连接模式。

提出的方法

• EEG信号通过时间图构建（TGC）模块转换为时间图，其中每个时间段被分割为子段，并提取频带特征。
• 残差多视角金字塔GCN（RMPG）模块通过多个并行GCN（配备可学习邻接矩阵）在所有EEG导联上捕捉多层次、多视角的空间表征。
• RMPG输出通过平均池化融合，形成每个时间图的单一标记，构成标记嵌入序列。
• 时间上下文变换器（TCT）模块采用两种专用标记混合器设计（TCT-Clas与TCT-Regr），处理序列以建模长程时间依赖性。
• 任务特定输出模块（TSO）生成预测结果：分类头用于情绪类别标签，回归头用于连续的效价/唤醒度评分。
• 模型在四个公开EEG数据集上进行端到端训练，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 基于变换器的架构能否有效建模EEG信号中用于情绪识别的长期时间上下文信息？
• RQ2 通过多个具有可学习邻接矩阵的GCN学习多种多样的脑连接模式，是否能提升跨被试EEG情绪识别的性能？
• RQ3 整合神经生理学启发的空间与时间建模是否能提升模型在未见被试上的泛化能力？
• RQ4 不同EEG特征类型（如rPSD、DE、PSD）对EmT模型在分类与回归任务中的性能有何影响？
• RQ5 TCT模块块数的增减在分类与回归任务中对性能的影响程度如何？

主要发现

• EmT在四个公开数据集上均实现了分类与回归任务的最先进性能，于SEED数据集上准确率达到0.802，F1分数达0.821。
• 使用相对功率谱密度（rPSD）作为输入特征时性能最佳，优于微分熵（DE）与功率谱密度（PSD）。
• 增加TCT块数显著提升分类性能（准确率从0.780提升至0.802），但对回归指标影响甚微（RMSE≈0.06，PCC≈0.48，CCC≈0.39）。
• 模型学习到两种截然不同且具有神经生理学意义的脑连接模式：一种涉及额-顶-颞区域，与注意力相关；另一种涉及额-颞-顶-枕网络，与情绪与视觉处理相关。
• 对学习到的邻接矩阵进行可视化，证实EmT能够捕捉任务特异性连接模式，例如在情绪刺激期间F6-POz与FC4-P7连接较强。
• 残差多视角金字塔GCN（RMPG）通过在多个GCN分支上独立学习邻接矩阵，有效捕捉多样化、多层次的图表征。