[论文解读] DuA: Dual Attentive Transformer in Long-Term Continuous EEG Emotion Analysis

Yue Pan, Qile Liu+7 more|arXiv (Cornell University)|Jul 30, 2024

Emotion and Mood Recognition被引用 4

一句话总结

本文提出DuA，一种用于长期连续EEG情绪分析的双注意力Transformer框架，将整个EEG试验作为单一单元进行处理，而非分段区间。通过整合空间-频谱注意力机制与迁移学习，DuA在试验级交叉被试验证中相较于现有方法平均提升5.28%的准确率，展现出在可变长度EEG数据上的优越性能与鲁棒性。

ABSTRACT

Affective brain-computer interfaces (aBCIs) are increasingly recognized for their potential in monitoring and interpreting emotional states through electroencephalography (EEG) signals. Current EEG-based emotion recognition methods perform well with short segments of EEG data. However, these methods encounter significant challenges in real-life scenarios where emotional states evolve over extended periods. To address this issue, we propose a Dual Attentive (DuA) transformer framework for long-term continuous EEG emotion analysis. Unlike segment-based approaches, the DuA transformer processes an entire EEG trial as a whole, identifying emotions at the trial level, referred to as trial-based emotion analysis. This framework is designed to adapt to varying signal lengths, providing a substantial advantage over traditional methods. The DuA transformer incorporates three key modules: the spatial-spectral network module, the temporal network module, and the transfer learning module. The spatial-spectral network module simultaneously captures spatial and spectral information from EEG signals, while the temporal network module detects temporal dependencies within long-term EEG data. The transfer learning module enhances the model's adaptability across different subjects and conditions. We extensively evaluate the DuA transformer using a self-constructed long-term EEG emotion database, along with two benchmark EEG emotion databases. On the basis of the trial-based leave-one-subject-out cross-subject cross-validation protocol, our experimental results demonstrate that the proposed DuA transformer significantly outperforms existing methods in long-term continuous EEG emotion analysis, with an average enhancement of 5.28%.

研究动机与目标

• 为解决现实世界中长期情绪状态下基于分段的EEG情绪识别方法的局限性。
• 开发一种能够将整个EEG试验作为统一序列进行处理的框架，以保留长期时间依赖性。
• 通过迁移学习与多模态注意力机制，提升模型在不同被试与条件下的泛化能力。
• 克服LSTM等循环模型在处理长EEG序列时的梯度消失问题。
• 为情感BCI系统中的连续、试验级情绪识别建立一种稳健且可扩展的基于Transformer的架构。

提出的方法

• DuA框架采用空间-频谱网络模块，利用多头自注意力机制联合捕捉EEG信号中的空间与频谱特征。
• 专用的时间网络模块使用多头自注意力机制，对整个EEG试验序列中的长程依赖关系进行建模。
• 迁移学习模块通过在多样化数据分布上微调，提升跨被试与跨条件的泛化能力。
• 模型端到端处理完整长度的EEG试验，避免了短段分析中固有的分割偏差。
• 对注意力头数、网络深度与隐藏层大小等超参数进行敏感性分析，以确保模型鲁棒性与效率。
• 在基于试验的留一被试者排除交叉验证协议下对框架进行评估，以模拟真实世界部署场景。

实验结果

研究问题

• RQ1 基于Transformer的模型能否有效将整个长期EEG试验作为单一单元进行情绪识别，而非依赖于短段分析？
• RQ2 空间-频谱注意力与时间注意力的融合在连续EEG数据上的情绪识别性能提升方面起到何种作用？
• RQ3 迁移学习模块在提升模型在不同被试与情绪条件下的泛化能力方面，其作用程度如何？
• RQ4 与LSTM等循环模型相比，DuA框架在处理长时序EEG序列时表现如何？
• RQ5 哪些超参数设置能够在保证最小敏感性与计算成本的前提下实现最优性能？

主要发现

• 在多个数据库的试验级留一被试者排除交叉验证中，DuA Transformer相较于现有方法平均提升5.28%的准确率。
• 时间网络模块在2分类任务中比LSTM高出7.00%，在3分类任务中高出15.00%，在5分类任务中高出12.84%，证明其在长序列建模方面具有显著优势。
• 模型对超参数变化表现出较低敏感性，使用适中数量的头数、层数与隐藏层大小即可实现最优性能。
• 由于Transformer中不存在自回归计算，避免了梯度消失问题，从而能够有效学习长EEG序列。
• 空间-频谱模块成功捕捉了互补的空间与频谱EEG特征，提升了表征质量。
• 迁移学习模块显著提升了跨被试性能，证实其在提升多样化参与者间泛化能力方面的重要作用。