[论文解读] 4D Attention-based Neural Network for EEG Emotion Recognition

Xiao Guo-wen, Mengwen Ye+3 more|arXiv (Cornell University)|Jan 14, 2021

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文提出一种基于4D注意力机制的神经网络（4D-aNN）用于EEG情绪识别，将原始EEG信号转换为4D时空频域表征，并在CNN-LSTM架构中结合频域、空间域和时域注意力机制。该模型在SEED数据集的受试者内评估中达到最先进性能，证明了多域注意力在捕捉关键EEG特征方面的有效性。

ABSTRACT

Electroencephalograph (EEG) emotion recognition is a significant task in the brain-computer interface field. Although many deep learning methods are proposed recently, it is still challenging to make full use of the information contained in different domains of EEG signals. In this paper, we present a novel method, called four-dimensional attention-based neural network (4D-aNN) for EEG emotion recognition. First, raw EEG signals are transformed into 4D spatial-spectral-temporal representations. Then, the proposed 4D-aNN adopts spectral and spatial attention mechanisms to adaptively assign the weights of different brain regions and frequency bands, and a convolutional neural network (CNN) is utilized to deal with the spectral and spatial information of the 4D representations. Moreover, a temporal attention mechanism is integrated into a bidirectional Long Short-Term Memory (LSTM) to explore temporal dependencies of the 4D representations. Our model achieves state-of-the-art performance on the SEED dataset under intra-subject splitting. The experimental results have shown the effectiveness of the attention mechanisms in different domains for EEG emotion recognition.

研究动机与目标

• 为解决在EEG信号中有效利用多域信息（空间、频域、时间）进行情绪识别的挑战。
• 开发一个统一的深度学习框架，以捕捉EEG数据中复杂的时空频动态特性。
• 通过在四个维度上应用注意力机制，提升受试者内EEG情绪识别的最先进性能。
• 验证注意力机制在增强EEG情感计算中模型可解释性和性能方面的有效性。

提出的方法

• 将原始EEG信号转换为4D时空频域表征，以保留多域信息。
• 应用频域和空间注意力机制，动态分配不同频带和脑区的重要性。
• 使用3D卷积神经网络（CNN）从4D表征中提取分层的空间-频域特征。
• 将双向长短期记忆网络（LSTM）与时间注意力机制结合，以建模时间序列中的依赖关系。
• 融合注意力调制后的CNN与时间LSTM的输出，进行最终情绪分类。
• 在SEED数据集上使用监督学习和交叉熵损失端到端训练4D-aNN模型。

实验结果

研究问题

• RQ1 注意力机制能否有效捕捉EEG信号中与情绪识别相关的频域、空间域和时域模式？
• RQ2 与2D或3D表征相比，4D表征的整合如何提升EEG情绪识别的性能？
• RQ3 频域和空间注意力机制在多大程度上增强了EEG数据的特征学习能力和模型可解释性？
• RQ4 所提出的4D-aNN在SEED数据集的受试者内评估中是否优于现有最先进模型？
• RQ5 该模型在情绪分类中对EEG模式的个体间差异性表现出多强的鲁棒性？

主要发现

• 在SEED数据集的受试者内交叉验证中，4D-aNN达到了最先进性能，表现出优越的泛化能力和准确性。
• 与无注意力机制的基线模型相比，频域、空间域和时域注意力机制的整合显著提升了模型性能。
• 注意力机制有效突出了与情绪状态相关的判别性脑区和频带，增强了模型可解释性。
• 3D-CNN组件成功从4D表征中捕捉到复杂的空间-频域模式，显著提升了特征区分能力。
• 带有时间注意力的双向LSTM有效建模了EEG序列中的长程时间依赖关系，改善了序列上下文理解。
• 消融实验确认，每种注意力机制（频域、空间域、时域）均对整体性能提升有独特贡献。