[论文解读] Conservative Wasserstein Training for Pose Estimation

Xiaofeng Liu, Yang Zou+5 more|arXiv (Cornell University)|Nov 3, 2019

Human Pose and Action Recognition参考文献 59被引用 16

一句话总结

该论文提出了一种用于姿态估计的保守Wasserstein训练框架，通过基于弧长的基度量和包裹的单峰-均匀混合分布对离散、周期性的类别标签进行建模，实现鲁棒的标签平滑。通过推导在弧长上线性、凸性和凹性基度量下Wasserstein距离的精确闭式解，该方法在性能上表现优越——尤其在凸映射和保守标签设置下，优于先前方法在头部、身体、车辆和3D物体姿态基准上的表现。

ABSTRACT

This paper targets the task with discrete and periodic class labels ($e.g.,$ pose/orientation estimation) in the context of deep learning. The commonly used cross-entropy or regression loss is not well matched to this problem as they ignore the periodic nature of the labels and the class similarity, or assume labels are continuous value. We propose to incorporate inter-class correlations in a Wasserstein training framework by pre-defining ($i.e.,$ using arc length of a circle) or adaptively learning the ground metric. We extend the ground metric as a linear, convex or concave increasing function $w.r.t.$ arc length from an optimization perspective. We also propose to construct the conservative target labels which model the inlier and outlier noises using a wrapped unimodal-uniform mixture distribution. Unlike the one-hot setting, the conservative label makes the computation of Wasserstein distance more challenging. We systematically conclude the practical closed-form solution of Wasserstein distance for pose data with either one-hot or conservative target label. We evaluate our method on head, body, vehicle and 3D object pose benchmarks with exhaustive ablation studies. The Wasserstein loss obtaining superior performance over the current methods, especially using convex mapping function for ground metric, conservative label, and closed-form solution.

研究动机与目标

• 解决交叉熵和回归损失在离散、周期性姿态估计任务中的局限性。
• 通过结构化的基度量将类别间相关性和周期性整合到深度学习中。
• 利用包裹的单峰-均匀混合分布对姿态标签中的内点和外点噪声进行建模。
• 在保守标签设置下实现Wasserstein距离的高效、精确计算。
• 在仅进行最小架构修改的情况下，实现在多个姿态估计基准上的最先进性能。

提出的方法

• 将基度量定义为弧长的递增函数，以在周期性标签空间中编码类别相似性。
• 通过包裹的单峰-均匀混合分布提出保守的目标标签，以对标签噪声和不确定性进行建模。
• 当基度量在弧长上为线性、凸性或凹性时，推导出在one-hot标签和保守标签下Wasserstein距离的精确闭式解。
• 使用交替优化方法从数据中自适应学习基度量。
• 采用软注意力机制，将Wasserstein距离高效计算为预测概率的加权和。
• 在标准深度学习流程中应用该损失，采用ResNet主干网络和标准数据增强技术。

实验结果

研究问题

• RQ1 基于结构化基度量的Wasserstein损失是否能提升离散、周期性姿态估计任务的性能？
• RQ2 通过同时建模内点和外点噪声的保守标签平滑，如何增强姿态估计的鲁棒性？
• RQ3 在保守标签设置下，Wasserstein距离的精确闭式解的计算效率如何？
• RQ4 使用凸基度量函数是否能优于线性或凹性替代方案？
• RQ5 所提出的方法是否能泛化到其他离散、周期性分类问题？

主要发现

• 与先前最先进方法相比，该方法在PASCAL 3D+数据集上的$Acc_{\frac{\nu}{6}}$提升了3.37%。
• PASCAL 3D+上的中位数误差（$MedErr$）从10.4降低至9.37，相对提升9.5%。
• 凸基度量函数表现最佳，在准确率和误差指标上均优于线性和凹性替代方案。
• 保守标签下的精确闭式解达到$\mathcal{O}(N)$复杂度，显著快于$\mathcal{O}(N^3)$的基线方法。
• 该方法在PASCAL 3D+上的$Acc_{\frac{\pi}{18}}$得到提升，表明预测分布更紧密地聚集在真实标签周围。
• 该方法在多种基准上泛化良好，涵盖头部、身体、车辆和3D物体姿态估计。