[论文解读] FERA 2017 - Addressing Head Pose in the Third Facial Expression Recognition and Analysis Challenge

Michel Valstar, Enrique Sánchez+6 more|arXiv (Cornell University)|Feb 14, 2017

Emotion and Mood Recognition参考文献 26被引用 7

一句话总结

本论文提出了 FERA 2017，一项聚焦于在多样化头部姿态下进行动作单元（AU）检测与强度估计的面部表情识别挑战，基于 BP4D+ 数据集。该研究从 3D 数据中生成了 9 个合成 2D 视图，采用仅在正面视图（第 5 和第 6 视图）上训练的 CRF/CORF 模型结合几何特征，尽管训练数据有限，仍实现了跨视图的稳健性能，显示出在极端姿态（如视图 1 和 9）上仍有显著提升空间。

ABSTRACT

The field of Automatic Facial Expression Analysis has grown rapidly in recent years. However, despite progress in new approaches as well as benchmarking efforts, most evaluations still focus on either posed expressions, near-frontal recordings, or both. This makes it hard to tell how existing expression recognition approaches perform under conditions where faces appear in a wide range of poses (or camera views), displaying ecologically valid expressions. The main obstacle for assessing this is the availability of suitable data, and the challenge proposed here addresses this limitation. The FG 2017 Facial Expression Recognition and Analysis challenge (FERA 2017) extends FERA 2015 to the estimation of Action Units occurrence and intensity under different camera views. In this paper we present the third challenge in automatic recognition of facial expressions, to be held in conjunction with the 12th IEEE conference on Face and Gesture Recognition, May 2017, in Washington, United States. Two sub-challenges are defined: the detection of AU occurrence, and the estimation of AU intensity. In this work we outline the evaluation protocol, the data used, and the results of a baseline method for both sub-challenges.

研究动机与目标

• 解决在多样化头部姿态（尤其是非正面视图）下面部表情识别缺乏基准数据的问题。
• 实现 AU 强度估计的评估，这是现有基准中关键但研究不足的维度。
• 支持长时间、未分割的视频序列，包含自然的表情过渡，超越单一面部表情剪辑的限制。
• 提供标准化的评估协议，以提升面部表情识别系统之间的可比性与可复现性。
• 通过模拟可变的摄像机角度与表情强度，弥合受控实验室环境与真实世界条件之间的差距。

提出的方法

• 基于头部姿态，利用几何投影从 BP4D+ 数据集中的 3D 源数据生成 9 个合成 2D 视图。
• 仅在正面视图（视图 5 和 6）上训练条件随机场（CRF）与约束序回归森林（CORF）模型，以确保对非正面视图的泛化能力。
• 从追踪的面部关键点中提取几何特征，以编码面部形状与动态特征，并通过相关性特征选择（CFS）降低维度。
• 采用滑动窗口方法（90 帧窗口，30 帧步长）进行时序建模，帧级预测通过最大似然法聚合。
• 使用正面化技术将非正面视图投影到标准正面空间，以提升不同姿态下的特征一致性。
• 采用多种指标评估性能：AU 出现检测使用 F1、准确率、2AFC；强度估计使用 ICC、RMSE、PCC。

实验结果

研究问题

• RQ1 仅在正面视图上训练的面部表情识别系统，能否在真实世界条件下有效泛化至极端头部姿态？
• RQ2 当训练数据仅限于正面姿态时，AU 强度估计性能在不同摄像机视角下如何变化？
• RQ3 在姿态变化与部分遮挡存在的情况下，几何特征与 CRF 建模在多大程度上能提升 AU 检测与强度估计性能？
• RQ4 类别不平衡（尤其是零强度 AU）对强度估计模型可靠性有何影响？
• RQ5 通过几何正面化与时序建模，仅在正面数据上训练的单一模型能否在非正面视图上实现稳健性能？

主要发现

• 基线系统在所有视图上均实现了非平凡的 AU 出现检测性能，F1 分数接近正面视图水平（例如，视图 4 的表现几乎与视图 5 和 6 相当），尽管视图 4 并未用于训练。
• 在极端视图（如视图 1 和 9）上性能显著下降，表明在处理严重姿态变化方面仍有巨大提升空间。
• 在强度估计方面，系统表现优于随机猜测（定义为始终预测最常见类别），多个 AU 的 ICC 分数高于 0.5，但 AU1、AU4 和 AU17 的 ICC 仍较低，主要因类别不平衡严重（约 90% 为零强度）。
• 尽管存在类别不平衡，强度估计的 RMSE 与 ICC 结果仍持续优于随机水平，证实模型学习到了有意义的强度模式。
• 正面化技术提升了非正面视图上的性能，尤其在视图 4 表现显著，表明几何归一化有助于缓解姿态相关差异。
• 结合时序建模的 CRF/CORF 模型优于逐帧基线模型，尤其在处理缺失或噪声帧时表现更优，归因于其对时序动态的利用能力。