[论文解读] Positional-Spectral-Temporal Attention in 3D Convolutional Neural Networks for EEG Emotion Recognition

Jiyao Liu, Yanxi Zhao+2 more|arXiv (Cornell University)|Oct 13, 2021

EEG and Brain-Computer Interfaces参考文献 40被引用 10

一句话总结

本文提出PST-Attention，一种新颖的3D-CNN模块，通过整合位置、频谱和时间注意力机制，提升基于EEG的情绪识别性能。通过学习空间脑区激活、频带相关性及时间动态特性，该方法在SEED数据集上实现95.76%的最先进准确率，在SEED-IV数据集上达到82.73%，通过自适应注意力加权显著提升了特征判别力与鲁棒性。

ABSTRACT

Recognizing the feelings of human beings plays a critical role in our daily communication. Neuroscience has demonstrated that different emotion states present different degrees of activation in different brain regions, EEG frequency bands and temporal stamps. In this paper, we propose a novel structure to explore the informative EEG features for emotion recognition. The proposed module, denoted by PST-Attention, consists of Positional, Spectral and Temporal Attention modules to explore more discriminative EEG features. Specifically, the Positional Attention module is to capture the activate regions stimulated by different emotions in the spatial dimension. The Spectral and Temporal Attention modules assign the weights of different frequency bands and temporal slices respectively. Our method is adaptive as well as efficient which can be fit into 3D Convolutional Neural Networks (3D-CNN) as a plug-in module. We conduct experiments on two real-world datasets. 3D-CNN combined with our module achieves promising results and demonstrate that the PST-Attention is able to capture stable patterns for emotion recognition from EEG.

研究动机与目标

• 为应对情绪识别中EEG信号不稳定与噪声干扰的问题，利用空间、频谱和时间特征的互补性。
• 开发一种统一的自适应注意力机制，以增强多维空间中判别性EEG特征的提取。
• 通过聚焦于信息量丰富的脑区、关键频带和显著时间片段，提升模型性能。
• 设计一种可插拔模块，兼容3D-CNN，实现高效集成至现有EEG分析深度学习流程中。

提出的方法

• 将EEG特征重新组织为4D张量（批次、高度、宽度、时间），以保留空间、频谱和时间关系。
• 引入并行的PST-Attention模块，包含三个子模块：位置注意力用于空间特征加权，频谱注意力用于频带选择，时间注意力用于时间片段优先级排序。
• 每个注意力头通过查询-键-值机制计算可学习权重，结合残差连接与层归一化以增强稳定性。
• 将4D表示输入3D-CNN主干网络，PST-Attention在每一层动态重新校准特征图。
• 注意力模块可微且支持端到端训练，实现空间、频谱和时间注意力的联合优化。
• 在两个基准EEG情绪识别数据集SEED和SEED-IV上对模型进行评估。

实验结果

研究问题

• RQ1 是否可通过统一注意力机制联合建模空间、频谱和时间维度，从而提升基于EEG的情绪识别性能？
• RQ2 位置、频谱和时间注意力组件在单独与协同作用下，对模型性能的贡献程度如何？
• RQ3 与3D或2D表示相比，所提出的4D EEG表示是否能增强特征判别力？
• RQ4 PST-Attention在真实EEG数据中对无关特征与噪声的抑制程度如何？

主要发现

• 在SEED数据集上，采用PST-Attention的3D-CNN模型实现了95.76%的平均准确率，优于表1中列出的所有对比方法。
• 在SEED-IV数据集上，模型达到82.73%的平均准确率，标准差为8.96%，表现出更高的鲁棒性与稳定性。
• 消融实验表明，位置注意力与频谱注意力的贡献显著高于时间注意力，其中P-Attention使准确率提升3.27%，S-Attention提升2.47%。
• 三者注意力模块的联合使用相较基础3D-CNN实现9.81%的准确率增益，证明其互补优势。
• 高阶特征可视化显示，使用PST-Attention后特征空间中类别间分离度更高，表明判别能力更强。
• 4D表示在两个数据集上均优于3D表示（如VHS、VHT），在SEED数据集上实现92.79%的平均准确率，验证其有效性。