[论文解读] EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

Peixiang Zhong, Di Wang+1 more|arXiv (Cornell University)|Jul 18, 2019

EEG and Brain-Computer Interfaces参考文献 79被引用 47

一句话总结

本论文提出了一种用于基于EEG的情感识别的正则化图神经网络（RGNN），该网络利用生物脑拓扑结构和两种正则化项来处理跨主体变化和噪声标签，在 SEED 和 SEED-IV 数据集上实现了优越的性能。

ABSTRACT

Electroencephalography (EEG) measures the neuronal activities in different brain regions via electrodes. Many existing studies on EEG-based emotion recognition do not fully exploit the topology of EEG channels. In this paper, we propose a regularized graph neural network (RGNN) for EEG-based emotion recognition. RGNN considers the biological topology among different brain regions to capture both local and global relations among different EEG channels. Specifically, we model the inter-channel relations in EEG signals via an adjacency matrix in a graph neural network where the connection and sparseness of the adjacency matrix are inspired by neuroscience theories of human brain organization. In addition, we propose two regularizers, namely node-wise domain adversarial training (NodeDAT) and emotion-aware distribution learning (EmotionDL), to better handle cross-subject EEG variations and noisy labels, respectively. Extensive experiments on two public datasets, SEED and SEED-IV, demonstrate the superior performance of our model than state-of-the-art models in most experimental settings. Moreover, ablation studies show that the proposed adjacency matrix and two regularizers contribute consistent and significant gain to the performance of our RGNN model. Finally, investigations on the neuronal activities reveal important brain regions and inter-channel relations for EEG-based emotion recognition.

研究动机与目标

• 从 EEG 信号中激发情感识别并解决传统拓扑不敏感方法的局限性。
• 引入一个生物启发、稀疏的邻接矩阵，在图神经网络中建模脑区之间的拓扑结构。
• 开发两个正则化项，NodeDAT 和 EmotionDL，以提高跨主体泛化能力和对噪声标签的鲁棒性。
• 通过在 SEED 和 SEED-IV 数据集上的大量实验来证明 RGNN 的有效性，并分析信息丰富的脑区。
• 提供关于跨通道关系和与 EEG 基于情感识别相关的脑区的见解。

提出的方法

• 将 EEG 通道建模为图中的节点，使用可学习的对称邻接矩阵来捕捉局部和全局脑连接。
• 将 Simple Graph Convolution (SGC) 扩展为 RGNN，以利用拓扑结构并获得对节点敏感的表征。
• 引入 NodeDAT 以执行节点级领域对抗训练，并对跨主体鲁棒性进行特征表示的正则化。
• 引入 EmotionDL 以对每个样本学习情感标签的分布，使用 KL 散度来处理噪声标签。
• 通过一个端到端的损失函数进行优化，该损失结合基于 KL 的分布学习、邻接矩阵的稀疏性以及领域对抗正则化。
• 用基于距离的局部连接和用于反映神经不对称性及功能连接的特定全局通道对来初始化邻接矩阵。

实验结果

研究问题

• RQ1 一个尊重 EEG 通道拓扑的图神经网络是否能在情感识别准确性上优于拓扑无关模型？
• RQ2 生物启发的邻接矩阵是否能改进 EEG 基于情感识别中的通道间关系学习？
• RQ3 NodeDAT 和 EmotionDL 正则化项是否分别改善跨主体泛化和对噪声标签的鲁棒性？
• RQ4 对 EEG 基于情感分类最具信息量的神经区域和通道间关系是什么？
• RQ5 RGNN 在标准 EEG 情感数据集 SEED 和 SEED-IV 上在主体相关和主体不相关设定中的表现如何？

主要发现

• 在大多数实验设置中，使用所提出的邻接矩阵和正则化项的 RGNN 相较于最先进模型实现了更好的性能。
• 消融研究表明，邻接矩阵设计和这两种正则化项对性能提升有持续且显著的贡献。
• NodeDAT 通过在节点层面提供更精细的领域自适应来提高跨主体泛化能力。
• EmotionDL 通过学习情感类别的分布而非单一硬标签，提高对噪声标签的鲁棒性。
• 分析表明，前额-顶叶-枕叶区域以及全球的左-右半球连接对于情感识别具有信息量。