[论文解读] Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition

Xun Wu, Wei‐Long Zheng+1 more|arXiv (Cornell University)|Apr 4, 2020

EEG and Brain-Computer Interfaces被引用 11

一句话总结

本文提出了一种基于EEG的功能性连接分析框架，用于多模态情绪识别，利用与情绪相关的关键子网络中的强度、聚类系数和特征向量中心性特征。强度特征优于最先进单通道方法，且与眼动数据融合后在SEED数据集上实现了95.08%的准确率，证明了低通道设置（18通道）在实际情感BCI应用中的互补表征能力与可行性。

ABSTRACT

Compared with the rich studies on the motor brain-computer interface (BCI), the recently emerging affective BCI presents distinct challenges since the brain functional connectivity networks involving emotion are not well investigated. Previous studies on emotion recognition based on electroencephalography (EEG) signals mainly rely on single-channel-based feature extraction methods. In this paper, we propose a novel emotion-relevant critical subnetwork selection algorithm and investigate three EEG functional connectivity network features: strength, clustering coefficient, and eigenvector centrality. The discrimination ability of the EEG connectivity features in emotion recognition is evaluated on three public emotion EEG datasets: SEED, SEED-V, and DEAP. The strength feature achieves the best classification performance and outperforms the state-of-the-art differential entropy feature based on single-channel analysis. The experimental results reveal that distinct functional connectivity patterns are exhibited for the five emotions of disgust, fear, sadness, happiness, and neutrality. Furthermore, we construct a multimodal emotion recognition model by combining the functional connectivity features from EEG and the features from eye movements or physiological signals using deep canonical correlation analysis. The classification accuracies of multimodal emotion recognition are 95.08/6.42% on the SEED dataset, 84.51/5.11% on the SEED-V dataset, and 85.34/2.90% and 86.61/3.76% for arousal and valence on the DEAP dataset, respectively. The results demonstrate the complementary representation properties of the EEG connectivity features with eye movement data. In addition, we find that the brain networks constructed with 18 channels achieve comparable performance with that of the 62-channel network in multimodal emotion recognition and enable easier setups for BCI systems in real scenarios.

研究动机与目标

• 为解决情感BCI系统中对情绪相关脑功能性连接网络研究不足的问题。
• 评估EEG功能性连接特征（强度、聚类系数和特征向量中心性）在情绪识别中的判别能力。
• 开发一种与情绪相关的关键子网络选择算法，以识别跨情绪的关键连接模式。
• 将EEG功能性连接与眼动或生理信号融合，以提升多模态情绪识别性能。
• 评估低通道EEG设置（如18通道）在实际情感BCI应用中的可行性。

提出的方法

• 采用三阶段关键子网络选择算法：在参与者间取平均，通过阈值筛选保留显著连接，并在不同情绪和频段间合并连接。
• 使用通道对之间EEG信号的相关性计算功能性连接，按频段（δ、θ、α、β、γ）构建脑网络。
• 提取三种网络级特征：强度（每个节点的连接权重之和）、聚类系数（局部网络密度）和特征向量中心性（基于相邻节点重要性的节点重要性）。
• 采用深度典型相关分析（DCCA）模型，将EEG连接特征与眼动或生理信号融合，以提升情绪识别性能。
• 采用三重交叉验证策略，确保子网络选择与模型评估的稳健性。
• 将18通道EEG设置与完整的62通道设置进行对比，评估实际部署中的性能权衡。

实验结果

研究问题

• RQ1 在不同情绪状态（如厌恶、恐惧、悲伤、快乐和中性）下，EEG网络中是否存在独特的功能性连接模式？
• RQ2 在强度、聚类系数和特征向量中心性三种EEG功能性连接特征中，哪一种能实现最高的情绪识别分类准确率？
• RQ3 与单模态方法相比，EEG连接特征与眼动数据的多模态融合能否提升情绪识别性能？
• RQ4 在多模态情绪识别中，减少通道数的EEG设置（如18通道）在多大程度上能保持与完整62通道设置相当的性能？

主要发现

• 强度特征在三种连接特征中表现最佳，且优于单通道分析中的最先进差分熵特征。
• 使用EEG连接特征与眼动数据进行多模态情绪识别，在SEED数据集上达到95.08% ± 6.42%的准确率，在SEED-V数据集上达到84.51% ± 5.11%的准确率，在DEAP数据集上分别实现85.34% ± 2.90%（唤醒度）和86.61% ± 3.76%（效价）的准确率。
• 在不同情绪和频段中观察到显著不同的功能性连接模式：例如，在δ频段，厌恶和恐惧在额叶区域表现出更强的正向连接，而恐惧在γ频段的连接则更负向，与厌恶相比。
• 由18个EEG通道构建的脑网络性能与62通道网络相当，表明其在实际低成本BCI系统中的可行性。
• 结果证实，EEG功能性连接特征与眼动数据具有互补性，可显著提升整体情绪识别准确率。
• 悲伤与中性情绪之间的混淆可通过相似的连接模式（尤其在δ和θ频段）得到支持，与先前神经影像学研究结果一致。