[论文解读] MASA-TCN: Multi-anchor Space-aware Temporal Convolutional Neural Networks for Continuous and Discrete EEG Emotion Recognition

Yi Ding, Su Zhang+2 more|arXiv (Cornell University)|Aug 30, 2023

EEG and Brain-Computer InterfacesNeuroscience被引用 3

一句话总结

本论文提出 MASA-TCN，一种统一的深度学习模型，通过将空间感知的时间卷积网络与多锚点注意力融合模块相结合，提升了基于EEG的连续与离散情绪识别性能。该模型可同时捕捉空间、频谱与时间模式，在两个公开的EEG数据集上，连续与分类任务均达到最先进性能。

ABSTRACT

Emotion recognition using electroencephalogram (EEG) mainly has two scenarios: classification of the discrete labels and regression of the continuously tagged labels. Although many algorithms were proposed for classification tasks, there are only a few methods for regression tasks. For emotion regression, the label is continuous in time. A natural method is to learn the temporal dynamic patterns. In previous studies, long short-term memory (LSTM) and temporal convolutional neural networks (TCN) were utilized to learn the temporal contextual information from feature vectors of EEG. However, the spatial patterns of EEG were not effectively extracted. To enable the spatial learning ability of TCN towards better regression and classification performances, we propose a novel unified model, named MASA-TCN, for EEG emotion regression and classification tasks. The space-aware temporal layer enables TCN to additionally learn from spatial relations among EEG electrodes. Besides, a novel multi-anchor block with attentive fusion is proposed to learn dynamic temporal dependencies. Experiments on two publicly available datasets show MASA-TCN achieves higher results than the state-of-the-art methods for both EEG emotion regression and classification tasks. The code is available at https://github.com/yi-ding-cs/MASA-TCN.

研究动机与目标

• 解决现有方法在情绪识别过程中对EEG电极间空间模式捕捉能力有限的问题。
• 通过学习多时间尺度上的动态依赖关系，改进EEG情绪回归的时间建模能力。
• 将连续情绪回归（CER）与离散情绪分类（DEC）统一到单一深度学习框架中。
• 通过新颖的架构整合空间、频谱与时间表征，提升模型性能。
• 在连续与离散情绪识别任务中，相较于最先进方法，在公开EEG情绪数据集上表现出更优性能。

提出的方法

• 提出空间感知时间（SAT）层，使TCN能够显式建模EEG电极之间的空间关系。
• 引入多锚点注意力融合（MAAF）模块，利用空洞卷积在多个感受野中捕捉时间动态。
• 对多尺度时间特征进行注意力融合，以突出对情绪预测相关的时间模式。
• 为CER与DEC任务共享主干网络，并在回归器输出上应用平均融合层，实现端到端分类。
• 采用多种损失函数联合训练模型，主要使用CCC，未来可集成RMSE与PCC以提升细节回归性能。
• 直接使用原始EEG信号，无需手工设计特征，实现空间-时间模式的端到端学习。

Figure 1: The architecture of our MASA-TCN. There are four main parts of MASA-TCN: feature extraction block, MAAF block, TCN block, and regression/classification block. A sequence of five four-EEG-channel sub-segments is utilized as an example. The k of SAT refers to the length of the kernel in the

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效处理连续与离散的EEG情绪识别任务？
• RQ2 与忽略空间结构的模型相比，引入EEG电极间空间关系是否能提升情绪识别性能？
• RQ3 通过多锚点模块实现的多尺度时间建模，在学习EEG信号中动态情绪状态方面能提升多少？
• RQ4 将回归器输出的均值作为分类头，是否相比标准分类器能提升离散情绪分类性能？
• RQ5 不同评估指标（RMSE、PCC、CCC）如何反映情绪回归模型的真实性能？哪种指标在模型优化中更可靠？

主要发现

• MASA-TCN在两个公开EEG情绪数据集上，连续情绪回归与离散情绪分类任务中均达到最先进性能。
• 引入空间感知时间（SAT）层显著提升了性能，有效建模了EEG电极间的空间模式。
• 多锚点注意力融合（MAAF）模块使模型能够捕捉不同时间尺度下的复杂时间动态，提升回归准确性。
• 将回归器输出的均值作为分类头，F1得分获得可测量提升，证明了统一架构的有效性。
• 评估结果表明，CCC比RMSE或PCC更可靠，因其同时捕捉了相关性与绝对值的一致性。
• 模型在正价情绪标签上表现更优，但在突然的振幅变化上表现较弱，表明未来工作需加强正则化。

Figure 2: Space-aware temporal convolutional layer. The SAT has two types of convolutional kernels: context kernels that extract the spectral patterns channel by channel and spatial fusion kernels that learn spatial patterns across all the channels. A context kernel of size (4, 3) is utilized for ex