[论文解读] A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics

Walied Merghani, Adrian K. Davison+1 more|arXiv (Cornell University)|May 7, 2018

Emotion and Mood Recognition参考文献 73被引用 48

一句话总结

对面部微表情数据集、特征表示和评估指标的全面综述，强调自动微表情分析的挑战与未来方向。

ABSTRACT

Facial micro-expressions are very brief, spontaneous facial expressions that appear on the face of humans when they either deliberately or unconsciously conceal an emotion. Micro-expression has shorter duration than macro-expression, which makes it more challenging for human and machine. Over the past ten years, automatic micro-expressions recognition has attracted increasing attention from researchers in psychology, computer science, security, neuroscience and other related disciplines. The aim of this paper is to provide the insights of automatic micro-expressions and recommendations for future research. There has been a lot of datasets released over the last decade that facilitated the rapid growth in this field. However, comparison across different datasets is difficult due to the inconsistency in experiment protocol, features used and evaluation methods. To address these issues, we review the datasets, features and the performance metrics deployed in the literature. Relevant challenges such as the spatial temporal settings during data collection, emotional classes versus objective classes in data labelling, face regions in data analysis, standardisation of metrics and the requirements for real-world implementation are discussed. We conclude by proposing some promising future directions to advancing micro-expressions research.

研究动机与目标

• 总结公开可用的面部微表情数据集，并按自发性、采样率和标签进行分类。
• 回顾用于微表情识别的特征表示及其历史演进。
• 分析微表情文献中使用的性能指标和评估协议。
• 识别影响跨研究可比性的关键挑战和标准化缺口。
• 提出推动微表情研究的建议和未来方向。

提出的方法

• 编目数据集（自发和非自发）并比较关键属性（帧率、分辨率、参与者、情感、FACS 编码）。
• 调查特征提取方法（3D HOG、LBP-TOP、HOOF、GDs、深度学习）及其随时间的演变。
• 总结在各研究中报告的性能指标和评估设置（LOS0、LOVO 等）。
• 讨论数据收集挑战（刺激设计、高速采集、伦理方面）和标注问题（情感与客观类别）。
• 综合研究结果，提出数据集、标准和实际应用方向的建议。

实验结果

研究问题

• RQ1 存在哪些公开可用的微表情数据集，它们在自发性、帧率和标注方面有何不同？
• RQ2 哪些特征表示在微表情识别中最有效，它们是如何演变的？
• RQ3 使用了哪些评估协议和指标，它们如何影响跨研究的可比性？
• RQ4 阻碍微表情分析在现实世界部署的主要挑战是什么，未来工作如何解决？
• RQ5 对于未来的研究，哪些建议可用于标准化数据集、特征和指标？

主要发现

• 非自发数据集由于造型和公开可用性受限，不太适合实际应用。
• 像 CASME II 和 SAMM 等自发数据集提供较高的帧率和多样的参与者，使其在识别任务中更具优势。
• LBP-TOP 在早期微表情研究中一直是主导特征，3DHOG 和 HOOF 分别在早期和后期工作中有所贡献；深度学习正在兴起，但仍受数据规模限制。
• 由于协议差异，跨数据集的性能差异显著，强调需要标准化的基准和指标。
• 参与者多样性、高时间/空间分辨率及 FACS 标注是 CASME II 和 SAMM 在微表情研究中的关键优势。