[论文解读] Complex Emotion Recognition System using basic emotions via Facial Expression, EEG, and ECG Signals: a review

Javad Hassannataj Joloudari, Mohammad Maftoun+3 more|arXiv (Cornell University)|Sep 9, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本综述提出了一种复杂情绪识别系统（CERS），通过机器学习、深度学习和元学习整合面部表情、脑电图（EEG）和心电图（ECG）信号，以提升对复杂情绪状态的识别能力。通过融合多模态生理与行为数据，该系统提高了准确性和可靠性，其中元学习在数据稀缺的复杂场景中展现出作为提升模型泛化能力和性能的关键使能技术。

ABSTRACT

The Complex Emotion Recognition System (CERS) deciphers complex emotional states by examining combinations of basic emotions expressed, their interconnections, and the dynamic variations. Through the utilization of advanced algorithms, CERS provides profound insights into emotional dynamics, facilitating a nuanced understanding and customized responses. The attainment of such a level of emotional recognition in machines necessitates the knowledge distillation and the comprehension of novel concepts akin to human cognition. The development of AI systems for discerning complex emotions poses a substantial challenge with significant implications for affective computing. Furthermore, obtaining a sizable dataset for CERS proves to be a daunting task due to the intricacies involved in capturing subtle emotions, necessitating specialized methods for data collection and processing. Incorporating physiological signals such as Electrocardiogram (ECG) and Electroencephalogram (EEG) can notably enhance CERS by furnishing valuable insights into the user's emotional state, enhancing the quality of datasets, and fortifying system dependability. A comprehensive literature review was conducted in this study to assess the efficacy of machine learning, deep learning, and meta-learning approaches in both basic and complex emotion recognition utilizing EEG, ECG signals, and facial expression datasets. The chosen research papers offer perspectives on potential applications, clinical implications, and results of CERSs, with the objective of promoting their acceptance and integration into clinical decision-making processes. This study highlights research gaps and challenges in understanding CERSs, encouraging further investigation by relevant studies and organizations. Lastly, the significance of meta-learning approaches in improving CERS performance and guiding future research endeavors is underscored.

研究动机与目标

• 研究面部表情、EEG和ECG信号的整合以提升复杂情绪识别效果。
• 评估机器学习、深度学习和元学习在识别基本情绪与复杂情绪方面的有效性。
• 识别在CERS数据收集、数据集规模和系统可靠性方面存在的研究空白与挑战。
• 探讨CERS在临床应用中的潜力及其对情感计算和决策制定的影响。
• 倡导将元学习作为提升模型在低数据环境下泛化能力与性能的有前景方法。

提出的方法

• 对使用EEG、ECG和面部表情数据集进行情绪识别的研究进行了全面的文献综述。
• 分析了机器学习、深度学习和元学习模型在基本情绪与复杂情绪识别任务中的应用。
• 评估了结合面部表情、EEG和ECG信号的多模态融合技术对系统准确性和鲁棒性的影响。
• 评估了所选研究中的数据收集方法、预处理流程和特征提取策略。
• 对比了不同模型与数据集在准确率、F1值和AUC等性能指标上的表现。
• 考察了元学习方法在有限标注数据下适应新情绪识别任务的能力。

实验结果

研究问题

• RQ1 结合面部表情、EEG和ECG的多模态融合方法在识别复杂情绪方面的有效性如何？
• RQ2 在复杂情绪识别中，传统机器学习、深度学习与元学习在性能上存在哪些差异？
• RQ3 在收集和处理高质量复杂情绪识别数据集方面面临的主要挑战是什么？
• RQ4 ECG和EEG等生理信号如何提升情绪识别系统的可靠性与识别深度？
• RQ5 元学习在低数据或复杂情绪识别场景中如何改善模型的泛化能力与性能？

主要发现

• 面部表情、EEG和ECG信号的整合显著提升了复杂情绪识别系统的准确性和鲁棒性。
• 深度学习模型在捕捉多模态情绪数据中复杂非线性模式方面优于传统机器学习方法。
• 元学习方法在低数据或少样本学习场景下展现出强大的泛化能力提升潜力，尤其适用于情绪识别任务。
• 由于在不同人群中捕捉细微情绪状态的复杂性，大规模高质量数据集仍是关键瓶颈。
• ECG和EEG等生理信号提供了有价值的互补信息，有助于提升系统可靠性并减少情绪分类中的模糊性。
• CERS在临床应用方面前景广阔，但需进一步验证并整合到决策工作流程中，方能实现广泛采纳。