[论文解读] Mirror, mirror on the wall, tell me, is the error small?

Heng Yang, Ioannis Patras|arXiv (Cornell University)|Jan 21, 2015

Face recognition and analysis参考文献 24被引用 17

一句话总结

本文引入了镜像对称性（mirrorability）——即模型在镜像图像上产生对称结果的能力——并提出镜像误差（mirror error）作为无需真实标注的物体部件定位方法的量化评估指标。尽管在镜像数据上进行训练，当前最先进的人体姿态估计与人脸对齐模型仍表现出显著的镜像误差，且该误差与真实标注的定位误差高度相关，从而可应用于困难样本选择与级联回归中的反馈机制。

ABSTRACT

Do object part localization methods produce bilaterally symmetric results on mirror images? Surprisingly not, even though state of the art methods augment the training set with mirrored images. In this paper we take a closer look into this issue. We first introduce the concept of mirrorability as the ability of a model to produce symmetric results in mirrored images and introduce a corresponding measure, namely the extit{mirror error} that is defined as the difference between the detection result on an image and the mirror of the detection result on its mirror image. We evaluate the mirrorability of several state of the art algorithms in two of the most intensively studied problems, namely human pose estimation and face alignment. Our experiments lead to several interesting findings: 1) Surprisingly, most of state of the art methods struggle to preserve the mirror symmetry, despite the fact that they do have very similar overall performance on the original and mirror images; 2) the low mirrorability is not caused by training or testing sample bias - all algorithms are trained on both the original images and their mirrored versions; 3) the mirror error is strongly correlated to the localization/alignment error (with correlation coefficients around 0.7). Since the mirror error is calculated without knowledge of the ground truth, we show two interesting applications - in the first it is used to guide the selection of difficult samples and in the second to give feedback in a popular Cascaded Pose Regression method for face alignment.

研究动机与目标

• 探究最先进物体部件定位模型是否在镜像数据上训练后，仍能在原始图像与镜像图像上产生对称检测结果。
• 提出一种新评估指标——镜像误差，用于在无需真实标注的情况下量化模型的镜像对称性。
• 探讨镜像误差与标准定位误差之间的相关性，以评估镜像误差作为性能代理指标的有效性。
• 展示镜像误差在级联回归中用于困难样本选择与反馈机制的实际应用，特别是在人脸对齐任务中。
• 提高对现代定位模型缺乏镜像对称性的认识，尽管存在生物启发与数据增强对对称性的激励。

提出的方法

• 将镜像对称性定义为模型在原始图像及其镜像图像上产生对称检测结果的能力。
• 提出镜像误差为原始图像上的检测结果与镜像图像上检测结果之间的L2距离。
• 将镜像误差指标应用于多个数据集上的人体姿态估计与人脸对齐最先进模型的评估。
• 通过选择镜像误差较高的样本，在无标注数据中将镜像误差用作困难度的代理，以支持主动学习。
• 将镜像误差集成至级联姿态回归框架（RCPR）中，通过多初始值的反馈实现重新初始化与失败检测。
• 通过消融实验与在300W及其他基准上的对比，验证基于镜像误差的反馈机制的有效性。

实验结果

研究问题

• RQ1 尽管在镜像数据上进行训练，最先进物体部件定位模型是否在镜像图像上仍能产生对称结果？
• RQ2 镜像误差与标准定位误差（如平均对齐误差）在不同模型与数据集之间是否存在相关性？
• RQ3 在缺乏真实标注的情况下，镜像误差能否有效作为真实误差的代理指标？
• RQ4 在无真实标注的主动学习设置中，镜像误差能否有效指导困难样本的选择？
• RQ5 镜像误差能否通过反馈与重新初始化机制提升级联回归模型的性能？

主要发现

• 尽管在镜像数据上进行训练，当前最先进的人体姿态估计与人脸对齐模型仍表现出显著的镜像误差，表明其镜像对称性较差。
• 镜像误差与真实标注定位误差具有强相关性（相关系数约为0.7），验证了其作为性能代理指标的有效性。
• 基于高镜像误差选择的样本在不同模型间具有一致性，且与真实误差识别出的困难样本高度吻合。
• 将镜像误差反馈机制引入RCPR后，性能得到提升，在300W测试集上实现5.35的归一化误差（49个关键点）。
• 采用10次初始化与最多4次重启的RCPR-F2变体取得最佳性能，证明镜像误差在失败检测与重新初始化中的有效性。
• 镜像误差是一种可靠且无需真实标注的度量指标，可揭示模型在对称性保持方面的弱点，为评估定位鲁棒性提供了新维度。