[论文解读] An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge

Xie Hong-xia, Ling Lo+2 more|arXiv (Cornell University)|Dec 21, 2020

Emotion and Mood Recognition被引用 9

一句话总结

本综述全面概述了面部微表情识别（MER）技术，涵盖数据来源、方法论及关键挑战。论文引入了新型方法，如从宏观表情到微表情的迁移学习、基于顶点帧的识别方法以及基于动作单元（AU）的分析方法，同时通过生成合成数据缓解数据稀缺问题，并聚焦于微表情检测的最新进展。论文指出了数据集偏差、面部不对称性以及社会群体偏差等关键问题，为多模态融合与鲁棒特征学习的未来研究提供了方向。

ABSTRACT

Facial micro-expressions indicate brief and subtle facial movements that appear during emotional communication. In comparison to macro-expressions, micro-expressions are more challenging to be analyzed due to the short span of time and the fine-grained changes. In recent years, micro-expression recognition (MER) has drawn much attention because it can benefit a wide range of applications, e.g. police interrogation, clinical diagnosis, depression analysis, and business negotiation. In this survey, we offer a fresh overview to discuss new research directions and challenges these days for MER tasks. For example, we review MER approaches from three novel aspects: macro-to-micro adaptation, recognition based on key apex frames, and recognition based on facial action units. Moreover, to mitigate the problem of limited and biased ME data, synthetic data generation is surveyed for the diversity enrichment of micro-expression data. Since micro-expression spotting can boost micro-expression analysis, the state-of-the-art spotting works are also introduced in this paper. At last, we discuss the challenges in MER research and provide potential solutions as well as possible directions for further investigation.

研究动机与目标

• 提供对近期面部微表情识别（MER）技术进展的全面综述。
• 识别并分析MER中的关键挑战，包括数据量有限与数据集偏差、面部不对称性以及社会群体偏差。
• 探索新型方法论方向，如从宏观到微表情的迁移学习、基于顶点帧的识别方法以及基于动作单元（AU）的分析方法。
• 考察生成合成数据在缓解数据稀缺性与提升MER数据集多样性方面的作用。
• 研究多模态融合（包括微动作与生理信号）在提升情绪识别性能方面的潜力。

提出的方法

• 系统性回顾现有MER数据集，包括CASME II、SAMM、SMIC VIS和HS，重点关注数据质量、分辨率、帧率及标注标准。
• 分析三种新兴的方法论范式：从宏观到微表情的迁移学习、基于关键顶点帧的识别方法以及基于AU的识别方法，以提升检测灵敏度。
• 评估基于深度学习的模型与混合方法，包括模糊分类器与加权模糊分类，以应对情绪标注中的模糊性问题。
• 综述生成合成数据的技术，以丰富训练数据并减轻标注负担与标签噪声。
• 考察微表情检测技术，以实现在非受限视频序列中的端到端检测与识别。
• 提出整合多模态线索（如微动作、语音及生理信号，例如EDA、ECG）以增强识别鲁棒性。

实验结果

研究问题

• RQ1 如何通过从宏观到微表情的迁移学习提升微表情识别模型的可迁移性与准确性？
• RQ2 顶点帧在提升短暂微表情检测能力方面发挥何种作用？
• RQ3 动作单元（AU）检测在多大程度上可提升MER系统的可解释性与准确性？
• RQ4 生成合成数据的方法在缓解微表情数据集中数据稀缺性与偏差方面效果如何？
• RQ5 面部不对称性与社会群体偏差（例如内群体劣势）对MER性能有何影响，又该如何应对？

主要发现

• 在中国参与者中观察到内群体劣势现象，即使经过METT训练，对异群体（白人）目标的识别准确率仍高于内群体（亚洲人）目标。
• 面部手性（即情绪表达中的左右不对称性）可能包含足够的判别性特征，但目前极少MER系统利用该现象。
• 生成合成数据在丰富数据集与降低标注成本方面展现出潜力，尤其适用于稀有或代表性不足的表情。
• 微表情检测技术已显著进步，近期如MEGC2020与MER2020等挑战赛中已报告较高的F1分数。
• 与微动作及生理信号（如EDA、ECG）的多模态融合可提升情绪识别性能，这一点已由发布包含3,692段标注片段的微动作数据集所证实。
• 由于人为标注的主观性，标签噪声与标注不一致性仍是显著问题，尤其在自发性微表情数据中。