[论文解读] A Novel Bi-hemispheric Discrepancy Model for EEG Emotion Recognition

Yang Li, Wenming Zheng+6 more|arXiv (Cornell University)|May 11, 2019

EEG and Brain-Computer Interfaces参考文献 38被引用 17

一句话总结

本文提出了一种新颖的双半球差异模型（BiHDM），用于EEG情绪识别，该模型利用左右大脑半球之间的非对称神经活动。通过使用双向RNN来建模EEG的时空模式，并采用成对子网络提取半球间差异，BiHDM在三个公开的EEG数据集上实现了最先进性能，主体相关设置下准确率最高达93.12%，主体无关设置下准确率达74.35%。

ABSTRACT

The neuroscience study has revealed the discrepancy of emotion expression between left and right hemispheres of human brain. Inspired by this study, in this paper, we propose a novel bi-hemispheric discrepancy model (BiHDM) to learn the asymmetric differences between two hemispheres for electroencephalograph (EEG) emotion recognition. Concretely, we first employ four directed recurrent neural networks (RNNs) based on two spatial orientations to traverse electrode signals on two separate brain regions, which enables the model to obtain the deep representations of all the EEG electrodes' signals while keeping the intrinsic spatial dependence. Then we design a pairwise subnetwork to capture the discrepancy information between two hemispheres and extract higher-level features for final classification. Besides, in order to reduce the domain shift between training and testing data, we use a domain discriminator that adversarially induces the overall feature learning module to generate emotion-related but domain-invariant feature, which can further promote EEG emotion recognition. We conduct experiments on three public EEG emotional datasets, and the experiments show that the new state-of-the-art results can be achieved.

研究动机与目标

• 为解决从EEG信号中提取有判别性的特征以用于情绪识别的挑战，利用已知的神经科学研究发现——情绪处理中的半球偏侧化现象。
• 开发一种深度学习框架，显式建模并学习左右大脑半球之间的非对称差异，以提升分类性能。
• 通过集成域判别器，减少训练与测试数据之间的域偏移，从而学习到域不变但具有情绪判别性的特征。
• 通过比较仅使用左半球或右半球数据与完整双半球建模的性能，验证双半球差异的有效性。

提出的方法

• 使用四个定向RNN（水平与垂直方向）来建模左右半球EEG电极上的时空依赖性，保留内在的空间结构。
• 设计成对子网络以捕捉并提取左右半球表征之间差异的高层特征。
• 在特征学习模块中集成域判别器，通过对抗性方式促使模型学习域不变的、与情绪相关的特征，从而减少域偏移。
• 在三个公开的EEG情绪识别数据集（SEED、SEED-IV、MPED）上端到端训练模型，采用主体相关与主体无关的评估协议。
• 通过比较仅水平方向、仅垂直方向以及组合方向的RNN遍历方式，优化空间特征提取，评估方向性对性能的影响。

实验结果

研究问题

• RQ1 显式建模EEG信号中的双半球差异是否能提升情绪识别性能？
• RQ2 在EEG情绪识别中，哪个脑区——额叶或颞叶——表现更优？
• RQ3 基于EEG信号，左半球是否比右半球更具信息量用于情绪识别？
• RQ4 使用双向RNN（水平与垂直方向）在捕捉EEG电极间空间依赖性方面有多有效？
• RQ5 对抗性域自适应在提升模型在不同数据域间泛化能力方面有多显著？

主要发现

• 所提出的BiHDM在主体相关评估下于SEED数据集上实现了最先进性能，准确率达93.12%；在主体无关评估下于SEED-IV数据集上准确率达74.35%。
• 颞叶电极始终优于额叶电极，仅使用9个颞叶电极在SEED数据集的主体相关设置下即可达到90.16%的准确率。
• 仅使用左半球即达到86.63%的准确率，优于右半球（86.39%），表明在所测试数据集中左半球与情绪处理的关联性更强。
• 同时使用水平与垂直RNN的性能（93.12%）显著优于仅使用单一方向（水平方向87.47%，垂直方向86.75%），证实多方向空间建模的重要性。
• 域判别器有效减少了域偏移，体现在主体无关实验中泛化性能提升，SEED数据集准确率达85.40%，SEED-IV数据集达69.03%。