[论文解读] HetEmotionNet: Two-Stream Heterogeneous Graph Recurrent Neural Network for Multi-modal Emotion Recognition

Ziyu Jia, Youfang Lin+4 more|arXiv (Cornell University)|Aug 7, 2021

Emotion and Mood Recognition参考文献 60被引用 15

一句话总结

HetEmotionNet 提出了一种双流异构图循环神经网络，通过融合多模态生理信号（EEG 和外周生理信号 PPS）的空间-谱-时域特征，提升了情绪识别性能。通过整合图注意力网络（GTN）以建模模态异质性，图卷积网络（GCN）以捕捉通道间相关性，以及门控循环单元（GRU）以建模时序/谱域依赖性，该模型在 DEAP 和 MAHNOB-HCI 数据集上实现了最先进性能，证明了多领域特征融合的优越性。

ABSTRACT

The research on human emotion under multimedia stimulation based on physiological signals is an emerging field, and important progress has been achieved for emotion recognition based on multi-modal signals. However, it is challenging to make full use of the complementarity among spatial-spectral-temporal domain features for emotion recognition, as well as model the heterogeneity and correlation among multi-modal signals. In this paper, we propose a novel two-stream heterogeneous graph recurrent neural network, named HetEmotionNet, fusing multi-modal physiological signals for emotion recognition. Specifically, HetEmotionNet consists of the spatial-temporal stream and the spatial-spectral stream, which can fuse spatial-spectral-temporal domain features in a unified framework. Each stream is composed of the graph transformer network for modeling the heterogeneity, the graph convolutional network for modeling the correlation, and the gated recurrent unit for capturing the temporal domain or spectral domain dependency. Extensive experiments on two real-world datasets demonstrate that our proposed model achieves better performance than state-of-the-art baselines.

研究动机与目标

• 为解决在多模态生理信号中有效利用空间、谱和时域特征互补性的挑战，以实现情绪识别。
• 在统一的深度学习框架中，对 EEG 和 PPS 等多样化生理模态之间的异质性与相关性进行建模。
• 通过联合捕捉时序动态性（通过 GRU）和功能连接性（通过 GCN），提升情绪识别的准确性。
• 设计一种可泛化的架构，将异构图学习与循环建模相结合，用于情感计算。

提出的方法

• 该模型采用双流架构：一条流处理来自 EEG 和 PPS 的空间-时域特征，另一条流处理空间-谱特征。
• 每条流均使用图注意力网络（GTN）来建模多模态输入的异质性，通过学习模态特异性表征。
• 在每条流中应用图卷积网络（GCN），以捕捉电极或传感器之间的通道间相关性。
• 在两条流中均使用门控循环单元（GRU），以建模序列依赖性——在空间-时域流中为时序动态性，在空间-谱流中为谱域动态性。
• 两条流在最终分类层进行融合，以整合多域特征，提升情绪分类性能。
• 该框架在 EEG 和 PPS 数据上端到端训练，使用交叉熵损失函数，配合早停策略与 Adam 优化算法。

实验结果

研究问题

• RQ1 双流异构图循环网络能否有效捕捉并融合多模态生理信号中的空间-谱-时域特征，以实现情绪识别？
• RQ2 通过图注意力网络（GTN）建模模态异质性，相比标准融合策略，性能提升程度如何？
• RQ3 基于 GCN 的相关性建模与基于 GRU 的序列建模对整体性能的贡献程度如何？
• RQ4 所提出的架构是否在真实世界情绪识别基准上超越了现有最先进方法？
• RQ5 不同模态组合（EEG 单一、PPS 单一或两者结合）对模型性能与鲁棒性的影响如何？

主要发现

• HetEmotionNet 在 DEAP 数据集上实现了最先进性能，情绪识别准确率超越了现有最先进方法。
• 在 MAHNOB-HCI 数据集上，HetEmotionNet 在使用多模态生理信号的可比模型中报告了最高准确率。
• 消融实验表明，移除 GRU、GCN 或 GTN 组件均导致性能显著下降，验证了各组件的重要性。
• 空间-时域流的贡献大于空间-谱流，表明时序动态性对情绪识别更具判别性。
• 通过 GTN 建模异质性，融合 EEG 和 PPS 两种模态的性能优于单一模态，且 EEG 单一模态优于 PPS 单一模态。
• 采用双流架构并结合特征融合，相比单流或非异质性模型，显著提升了分类准确率。