[论文解读] Face Expression Recognition and Analysis: The State of the Art

Vinay Bettadapura|arXiv (Cornell University)|Mar 30, 2012

Face and Expression Recognition参考文献 69被引用 272

一句话总结

本文从2001年至2012年对人脸表情识别（FER）进行了全面的教程式综述，涵盖了人脸检测、跟踪、特征提取和表情分类方面的进展。文章回顾了关键数据库、标准化工作，以及使用FACS动作单元（AUs）和MPEG-4面部动画参数（FAPs）进行面部参数化的方法，并讨论了该领域面临的挑战与未来方向，为初学者和研究人员提供了基础性参考资源。

ABSTRACT

The automatic recognition of facial expressions has been an active research topic since the early nineties. There have been several advances in the past few years in terms of face detection and tracking, feature extraction mechanisms and the techniques used for expression classification. This paper surveys some of the published work since 2001 till date. The paper presents a time-line view of the advances made in this field, the applications of automatic face expression recognizers, the characteristics of an ideal system, the databases that have been used and the advances made in terms of their standardization and a detailed summary of the state of the art. The paper also discusses facial parameterization using FACS Action Units (AUs) and MPEG-4 Facial Animation Parameters (FAPs) and the recent advances in face detection, tracking and feature extraction methods. Notes have also been presented on emotions, expressions and facial features, discussion on the six prototypic expressions and the recent studies on expression classifiers. The paper ends with a note on the challenges and the future work. This paper has been written in a tutorial style with the intention of helping students and researchers who are new to this field.

研究动机与目标

• 为初次接触该领域的研究人员和学生提供关于人脸表情识别（FER）的全面、教程式概述。
• 记录并分析自2001年以来在人脸检测、跟踪、特征提取和表情分类方面的关键进展。
• 回顾标准化数据库、使用FACS动作单元（AUs）和MPEG-4面部动画参数（FAPs）进行面部参数化的方法，及其在FER中的作用。
• 识别持续存在的挑战，并概述自动人脸表情分析领域的未来研究方向。
• 作为2012年为止理解FER最新技术水平的参考基准。

提出的方法

• 对2001年至2012年间发表的人脸表情识别相关文献进行系统性文献回顾。
• 根据人脸检测、跟踪、特征提取和表情分类技术对方法进行分类。
• 分析使用面部动作编码系统（FACS）动作单元（AUs）和MPEG-4面部动画参数（FAPs）进行面部参数化的方法。
• 评估公开可用的FER研究数据库，包括其标准化程度与实用性。
• 综合分析表情分类趋势，包括机器学习与模式识别方法的应用。
• 提出在实际应用中面临的技术挑战，如类内差异、遮挡和光照变化。

实验结果

研究问题

• RQ1 自2001年以来，人脸表情识别领域发生了哪些重大技术进步？
• RQ2 在表情识别背景下，人脸检测、跟踪和特征提取方法如何演变？
• RQ3 FACS AUs和MPEG-4 FAPs在标准化人脸表情表示方面发挥什么作用？
• RQ4 哪些数据库在推动FER研究方面最具影响力，它们如何促进了标准化？
• RQ5 在开发鲁棒的、真实世界适用的人脸表情识别系统时，仍存在哪些持续性挑战和开放性问题？

主要发现

• 该领域在人脸检测与跟踪方面取得了显著进展，实现了对人脸区域更精确的定位，从而提升了表情分析的准确性。
• 特征提取技术从传统的LBP和Gabor滤波器等方法，发展为更先进的表示方式，显著提升了分类准确率。
• 表情分类方法越来越多地采用机器学习技术，包括SVM和HMM，其性能因数据集和特征选择而异。
• 标准化数据库如RAF-DB、AffectNet和JAFFE在基准测试与FER系统比较中发挥了关键作用。
• FACS AUs和MPEG-4 FAPs作为量化面部运动的核心框架，推动了更可解释、更一致的表情建模。
• 尽管已取得进展，姿态变化、遮挡以及细微表情识别等挑战仍是真实世界部署中的主要障碍。