[论文解读] Multi-hypothesis 3D human pose estimation metrics favor miscalibrated distributions

Paweł A. Pierzchlewicz, R. Cotton+2 more|arXiv (Cornell University)|Oct 20, 2022

Human Pose and Action Recognition被引用 5

一句话总结

本文指出，在多假设3D人体姿态估计中最小化minMPJPE会导致概率分布校准不足，尽管平均性能良好。为解决此问题，作者提出条件图归一化流（cGNF），一种校准良好的模型，通过非对抗性训练联合估计条件密度和边缘密度，实现了在遮挡关节上的最先进minMPJPE表现，同时保持了优异的校准性能。

ABSTRACT

Due to depth ambiguities and occlusions, lifting 2D poses to 3D is a highly ill-posed problem. Well-calibrated distributions of possible poses can make these ambiguities explicit and preserve the resulting uncertainty for downstream tasks. This study shows that previous attempts, which account for these ambiguities via multiple hypotheses generation, produce miscalibrated distributions. We identify that miscalibration can be attributed to the use of sample-based metrics such as minMPJPE. In a series of simulations, we show that minimizing minMPJPE, as commonly done, should converge to the correct mean prediction. However, it fails to correctly capture the uncertainty, thus resulting in a miscalibrated distribution. To mitigate this problem, we propose an accurate and well-calibrated model called Conditional Graph Normalizing Flow (cGNFs). Our model is structured such that a single cGNF can estimate both conditional and marginal densities within the same model - effectively solving a zero-shot density estimation problem. We evaluate cGNF on the Human~3.6M dataset and show that cGNF provides a well-calibrated distribution estimate while being close to state-of-the-art in terms of overall minMPJPE. Furthermore, cGNF outperforms previous methods on occluded joints while it remains well-calibrated.

研究动机与目标

• 探究为何基于样本的指标（如minMPJPE）在多假设3D姿态估计中会导致分布校准不足。
• 证明以minMPJPE为目标优化的模型尽管平均预测准确，但会产生过度自信且校准不足的不确定性估计。
• 开发一种方法，在实现高质量minMPJPE的同时，获得校准良好的不确定性估计。
• 提出一种统一模型，无需独立的先验/后验网络或对抗性训练，即可同时估计条件密度和边缘密度。
• 在遮挡关节上评估模型性能，此处模糊性最高，校准最为关键。

提出的方法

• 作者提出条件图归一化流（cGNF），一种基于归一化流的模型，通过可逆的、基于流的变换，学习给定2D关键点时3D姿态的条件密度。
• cGNF在单一模型中联合估计条件后验和边缘先验密度，无需额外网络或对抗性训练。
• 模型使用负对数似然（NLL）损失进行训练，该损失通过直接优化概率密度，促进校准良好的不确定性估计。
• 为在不牺牲校准性能的前提下提升minMPJPE表现，作者引入一个基于样本的损失项 $\mathcal{L}_{\text{sample}}$，以促使预测与真实姿态对齐。
• 模型在Human 3.6M数据集上进行评估，包括具有遮挡关节的H36MA子集，推理时每例生成200个样本。
• 使用期望校准误差（ECE）评估校准性能，并通过minMPJPE和ECE指标与最先进基线方法进行比较。

实验结果

研究问题

• RQ1 在多假设3D姿态估计中最小化minMPJPE是否会导致概率分布校准不足？
• RQ2 基于负对数似然损失训练的模型是否能在保持竞争力准确度的同时，实现优于minMPJPE优化模型的校准性能？
• RQ3 是否可能在单一归一化流架构中同时学习条件密度和边缘密度，而无需对抗性训练？
• RQ4 所提出的cGNF模型在遮挡关节上的表现如何，此处模糊性最高且校准最为关键？
• RQ5 基于样本的损失项是否能在不损害似然优化模型校准性能的前提下，提升minMPJPE？

主要发现

• 以minMPJPE为目标优化的模型尽管平均误差较低，但产生校准不足的分布，表明其不确定性估计过度自信。
• 使用NLL损失训练的高斯模型校准良好（ECE = 0.07），但minMPJPE表现较差（60.1 mm）；而minMPJPE优化的高斯模型则校准不足（ECE = 0.42）。
• cGNF模型实现minMPJPE为57.5 mm，ECE为0.08，展现出准确度与校准性能之间的良好平衡。
• 在具有遮挡关节的H36MA子集上，cGNF实现minMPJPE为47.0 mm，ECE为0.07，两项指标均优于先前方法。
• 添加 $\mathcal{L}_{\text{sample}}$ 损失后，minMPJPE提升至53.0 mm，ECE仅轻微上升至0.08，表明可在不显著损失校准性能的前提下提升准确度。
• 提升模型容量可进一步降低minMPJPE（xlarge版本达48.5 mm），但校准性能下降（ECE = 0.23），凸显性能与可靠性之间的权衡。