[论文解读] Exploiting Facial Landmarks for Emotion Recognition in the Wild

Matthew Day|arXiv (Cornell University)|Mar 30, 2016

Emotion and Mood Recognition参考文献 17被引用 11

一句话总结

本文提出一种轻量级、基于关键点的在野情绪识别方法，仅使用关键点间距离，其性能优于EmotiW2015挑战赛基线。通过改进面部关键点定位并利用关键面部点之间的几何关系，该方法在保持极低复杂度的同时实现了高精度，表明简单几何特征在非受限环境中具有高度有效性。

ABSTRACT

In this paper, we describe an entry to the third Emotion Recognition in the Wild Challenge, EmotiW2015. We detail the associated experiments and show that, through more accurately locating the facial landmarks, and considering only the distances between them, we can achieve a surprising level of performance. The resulting system is not only more accurate than the challenge baseline, but also much simpler.

研究动机与目标

• 通过面部关键点提升在非受限、真实世界视频数据（在野）中的情绪识别性能。
• 解决真实世界面部数据中姿态、光照和表情变化带来的挑战。
• 通过聚焦面部关键点之间的几何关系，开发一种比EmotiW2015基线更简单但更准确的系统。
• 评估关键点间距离作为情绪识别判别性特征的有效性。
• 证明无需复杂深度学习架构即可实现顶尖性能。

提出的方法

• 该方法使用鲁棒的面部关键点检测算法，精确定位关键面部点。
• 计算预定义面部关键点之间的关键点间距离，作为主要特征表示。
• 系统仅依赖关键点之间的几何关系，避免使用复杂的外观或纹理特征。
• 最终的情绪预测基于在关键点间距离向量上训练的分类器。
• 该方法设计为计算高效，并对姿态和光照变化具有鲁棒性。
• 该方法未使用深度神经网络，而是依赖从关键点提取的手工几何特征。

实验结果

研究问题

• RQ1 仅依靠关键点间距离是否足以在非受限条件下实现出色的情绪识别性能？
• RQ2 改进的面部关键点定位在在野环境中对情绪识别精度有何影响？
• RQ3 在真实世界情绪识别中，简单的几何特征集在多大程度上能超越更复杂的模型？
• RQ4 轻量级、非深度学习方法是否可在EmotiW2015挑战赛中实现最先进性能？
• RQ5 该系统在不同姿态、光照和面部表情下的泛化能力如何？

主要发现

• 该系统性能优于EmotiW2015挑战赛基线，证明了几何特征的有效性。
• 改进的面部关键点定位显著贡献于整体性能提升。
• 该方法仅使用关键点间距离即实现了高精度，证明复杂模型并非获得优异结果的必要条件。
• 该系统远比基线方法更简单，组件更少且计算成本更低。
• 结果表明，面部关键点之间的几何关系在非受限环境中对情绪识别具有高度判别性。
• 该方法在挑战赛中优于更复杂的模型，凸显了精确关键点检测与最小化特征工程的价值。