[论文解读] Entropy-Assisted Multi-Modal Emotion Recognition Framework Based on Physiological Signals

Kuan Tung, Po-Kang Liu+3 more|arXiv (Cornell University)|Sep 22, 2018

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出了一种基于熵的多模态情感识别框架，利用AMIGOS数据集中的生理信号（EEG、ECG、GSR）进行分析。通过提取RCMSE、RCMPE、MMSE和MMPE特征以捕捉信号复杂性，并采用XGBoost进行分类，该方法在唤醒度识别中达到68%的准确率，在愉悦度识别中达到84%，显著优于先前的方法。

ABSTRACT

As the result of the growing importance of the Human Computer Interface system, understanding human's emotion states has become a consequential ability for the computer. This paper aims to improve the performance of emotion recognition by conducting the complexity analysis of physiological signals. Based on AMIGOS dataset, we extracted several entropy-domain features such as Refined Composite Multi-Scale Entropy (RCMSE), Refined Composite Multi-Scale Permutation Entropy (RCMPE) from ECG and GSR signals, and Multivariate Multi-Scale Entropy (MMSE), Multivariate Multi-Scale Permutation Entropy (MMPE) from EEG, respectively. The statistical results show that RCMSE in GSR has a dominating performance in arousal, while RCMPE in GSR would be the excellent feature in valence. Furthermore, we selected XGBoost model to predict emotion and get 68% accuracy in arousal and 84% in valence.

研究动机与目标

• 通过使用基于熵的特征分析生理信号的复杂性，以提升情感识别性能。
• 通过引入多尺度熵度量，解决传统时域和频域特征在情感计算中的局限性。
• 开发一种用户无关的、鲁棒的情感识别框架，利用非侵入性生理信号，降低社会掩饰的影响。
• 验证基于熵域的特征在区分EEG、ECG和GSR信号中的情感状态（唤醒度和愉悦度）方面的有效性。
• 通过将基于熵的特征与强大的机器学习分类器结合，在AMIGOS数据集上超越现有方法。

提出的方法

• 从ECG和GSR信号中提取精炼复合多尺度熵（RCMSE）和精炼复合多尺度排列熵（RCMPE），以量化信号复杂性。
• 将多变量多尺度熵（MMSE）和多变量多尺度排列熵（MMPE）应用于多通道EEG数据，实现跨通道的复杂性分析。
• 采用留一被试者交叉验证方案，确保在AMIGOS数据集上模型评估的稳健性。
• 使用XGBoost作为分类模型，并通过网格搜索进行超参数调优以优化性能。
• 选择统计显著的熵特征（p < 0.05），并将其与传统特征结合，以增强模型输入。
• 使用宏平均F1分数评估性能，以平衡正负情感类别的分类表现。

实验结果

研究问题

• RQ1 基于熵的特征（如RCMSE和RCMPE）是否能有效捕捉生理信号中心情状态的变化？
• RQ2 在EEG、ECG和GSR信号中，哪些熵域特征（RCMSE、RCMPE、MMSE、MMPE）与唤醒度和愉悦度具有最强的统计相关性？
• RQ3 将熵域特征与传统特征融合后，是否能提升情感识别准确率，相比基线方法？
• RQ4 当在单模态和多模态生理输入上训练时，XGBoost分类器在基于熵特征上的表现如何？
• RQ5 根据XGBoost中的特征重要性分析，哪些特定的熵特征对分类性能贡献最大？

主要发现

• GSR中的RCMSE在唤醒度分类中表现最为突出，表明其对情绪兴奋水平具有高度敏感性。
• GSR中的RCMPE在愉悦度分类中表现优异，表明其对正负性情感状态具有强大的区分能力。
• 所提出的基于熵的框架在使用XGBoost时，唤醒度识别准确率达到68%，愉悦度识别准确率达到84%。
• 将多模态信号（EEG、ECG、GSR）与熵特征融合后，愉悦度识别的F1分数相比先前方法提升了+25.3%，EEG单模态的愉悦度识别F1分数提升了+17.8%。
• 特征重要性分析显示，EEG的MMPE（τ=18, m=2）和ECG的RCMPE（τ=1, m=3）是提升融合性能的关键贡献因素。
• 引入统计显著的熵特征（唤醒度41个，愉悦度101个）相比仅使用传统特征集，带来了显著的性能提升。