[论文解读] TSception: A Deep Learning Framework for Emotion Detection Using EEG

Yi Ding, Neethu Robinson+5 more|arXiv (Cornell University)|Apr 2, 2020

EEG and Brain-Computer Interfaces参考文献 39被引用 10

一句话总结

TSception 是一种用于基于 EEG 的情绪检测的新型深度学习框架，通过使用多尺度一维卷积核联合学习判别性的时间与空间表征。在虚拟现实环境中区分低唤醒与高唤醒情绪状态时，其分类准确率达到 86.03%，显著优于 SVM、EEGNet 和 LSTM 模型（p < 0.05）。

ABSTRACT

In this paper, we propose a deep learning framework, TSception, for emotion detection from electroencephalogram (EEG). TSception consists of temporal and spatial convolutional layers, which learn discriminative representations in the time and channel domains simultaneously. The temporal learner consists of multi-scale 1D convolutional kernels whose lengths are related to the sampling rate of the EEG signal, which learns multiple temporal and frequency representations. The spatial learner takes advantage of the asymmetry property of emotion responses at the frontal brain area to learn the discriminative representations from the left and right hemispheres of the brain. In our study, a system is designed to study the emotional arousal in an immersive virtual reality (VR) environment. EEG data were collected from 18 healthy subjects using this system to evaluate the performance of the proposed deep learning network for the classification of low and high emotional arousal states. The proposed method is compared with SVM, EEGNet, and LSTM. TSception achieves a high classification accuracy of 86.03%, which outperforms the prior methods significantly (p&lt;0.05). The code is available at https://github.com/deepBrains/TSception

研究动机与目标

• 开发一种端到端的深度学习框架，以有效捕捉原始 EEG 信号中的时间与空间模式，用于情绪检测。
• 通过利用分层可学习表征，解决手工设计特征与浅层模型在基于 EEG 的情绪分类中的局限性。
• 通过设计针对半球的特定空间卷积核，利用前额脑情绪不对称性，增强判别性空间表征。
• 在受控的沉浸式虚拟现实环境中评估所提出的框架，以模拟现实世界的情绪唤醒状态。
• 在分类低唤醒与高唤醒情绪状态方面，证明其性能优于现有方法，包括 SVM、EEGNet 和 LSTM。

提出的方法

• TSception 采用双分支架构，包含时间学习器与空间学习器，从 EEG 信号中提取互补表征。
• 时间学习器使用大小与 EEG 采样率成比例的多尺度一维卷积核，以捕捉多样化的时间与频域模式。
• 空间学习器应用非对称的、针对半球的卷积核，以建模左、右前额脑区的差异性情绪反应。
• 该框架直接处理原始 EEG 数据，无需手工特征工程，实现判别性时空特征的端到端学习。
• 在最终分类层之前，对时间与空间特征进行序列融合，减少模型参数并缓解过拟合。
• 模型使用交叉熵损失与随机梯度下降进行训练，并通过受试者相关与留一话单次交叉验证协议进行评估。

实验结果

研究问题

• RQ1 与传统方法相比，一种联合建模 EEG 时间与空间模式的深度学习框架是否能提升情绪唤醒检测的分类准确率？
• RQ2 使用多尺度时间卷积核如何增强对不同频带动态 EEG 信号的表征能力？
• RQ3 通过采用针对半球的空间卷积核来利用前额脑情绪不对称性，能在多大程度上提升分类性能？
• RQ4 与仅包含单一模态的模型相比，集成时间与空间学习组件是否能带来更好的泛化能力并减少过拟合？
• RQ5 在相同的基于 EEG 的情绪唤醒分类任务中，TSception 与 SOTA 模型（如 EEGNet、使用手工特征的 SVM 和 LSTM）相比性能如何？

主要发现

• TSception 在区分低唤醒与高唤醒情绪状态时达到最高分类准确率 86.03%，显著优于使用 DE 特征的 SVM（82.23%）和 EEGNet（79.96%）（p < 0.05）。
• 同时包含时间与空间学习器的模型（TSception）相比仅空间学习器的变体（Sception，77.39%）提高了 8.34% 的准确率，相比仅时间学习器的变体（Tception，83.9%）提高了 2.4%。
• 尽管参数量更少（53,483 个可训练参数），TSception 的性能仍优于 Tception（822,671 个参数），表明其具有高效的特征学习能力并能有效减少过拟合。
• 时间学习器对分类性能的贡献大于空间学习器，这从 Tception（83.9%）的准确率高于 Sception（77.39%）可得到验证。
• 时间与空间学习的结合使性能超越各独立组件之和，表明存在互补的信息增益。
• 该模型在受试者间表现稳健，标准差为 8.99%，表明在受试者相关评估中具有稳定的泛化能力。