[论文解读] Synthetic Occlusion Augmentation with Volumetric Heatmaps for the 2018 ECCV PoseTrack Challenge on 3D Human Pose Estimation

István Sárándi, Timm Linder+2 more|arXiv (Cornell University)|Sep 13, 2018

Human Pose and Action Recognition参考文献 30被引用 37

一句话总结

该论文提出了一种完全卷积的3D人体姿态估计方法，采用体素热图和软-argmax回归3D关节坐标，以Pascal VOC物体生成的合成遮挡增强作为关键正则化手段。该方法在2018年ECCV PoseTrack挑战赛中获得第一名，并在未使用额外2D姿态数据集进行训练的情况下，超越了Human3.6M基准测试的最先进性能。

ABSTRACT

In this paper we present our winning entry at the 2018 ECCV PoseTrack Challenge on 3D human pose estimation. Using a fully-convolutional backbone architecture, we obtain volumetric heatmaps per body joint, which we convert to coordinates using soft-argmax. Absolute person center depth is estimated by a 1D heatmap prediction head. The coordinates are back-projected to 3D camera space, where we minimize the L1 loss. Key to our good results is the training data augmentation with randomly placed occluders from the Pascal VOC dataset. In addition to reaching first place in the Challenge, our method also surpasses the state-of-the-art on the full Human3.6M benchmark among methods that use no additional pose datasets in training. Code for applying synthetic occlusions is availabe at https://github.com/isarandi/synthetic-occlusion.

研究动机与目标

• 解决在无真实边界框或相机内参的非约束单人RGB图像中进行3D人体姿态估计的挑战。
• 提升对遮挡的鲁棒性，特别是在涉及椅子等复杂物体的真实场景中。
• 在未依赖额外2D姿态数据集进行训练的情况下，实现在完整Human3.6M基准测试上的最先进性能。
• 证明合成遮挡增强作为3D姿态估计数据增强策略的有效性。

提出的方法

• 使用完全卷积主干网络为每个3D身体关节预测体素热图，并通过软-argmax将其转换为3D坐标。
• 通过1D热图预测头估计绝对人物中心深度，实现向3D相机空间的反投影。
• 通过以0.5的概率随机粘贴经过尺寸和标签筛选的Pascal VOC物体到训练图像中，实现合成遮挡。
• 对遮挡物和输入图像应用几何（缩放、旋转、翻转）和外观（模糊、颜色）增强。
• 通过训练过程中学习的焦距校正因子 $ c $ 来对齐图像与热图坐标，避免超参数调优。
• 采用端到端训练，对相机空间中相对于根关节的3D坐标使用L1损失，无需显式的热图监督。

实验结果

研究问题

• RQ1 在真实世界遮挡条件下，合成遮挡增强在提升3D人体姿态估计鲁棒性方面的有效性如何？
• RQ2 在未使用额外2D姿态数据的情况下，完全卷积架构结合体素热图回归是否能在2018年ECCV PoseTrack挑战赛中超越现有方法？
• RQ3 当不使用额外姿态数据集时，遮挡增强在完整Human3.6M基准测试上的泛化能力提升程度如何？
• RQ4 遮挡概率 $ p_{\text{occ}} $ 的选择如何影响模型性能与泛化能力？

主要发现

• 该方法在2018年ECCV PoseTrack挑战赛的所有动作中均实现了最低的平均关节位置误差（MPJPE），优于所有其他参赛方法，包括使用额外2D姿态数据集的方法。
• 在PoseTrack挑战赛测试集上，该模型实现了平均45.0 mm的MPJPE，显著优于第二名方法（58.0 mm）和使用额外数据的下一名方法（59.0 mm）。
• 在完整Human3.6M基准测试中，该方法实现了54.2 mm的MPJPE，超越了所有未在训练中使用额外2D姿态数据集的先前最先进方法。
• 消融实验表明，当 $ p_{\text{occ}} = 0.5 $ 时，遮挡增强使MPJPE相比无增强基线（65.7 mm vs. 54.2 mm）降低了11.5 mm。
• 在涉及遮挡物的动作中（如Sitting、Sitting Down），性能提升最为显著，相比基线提高了12.5 mm，表明对物体遮挡具有强鲁棒性。
• 当 $ p_{\text{occ}} \approx 70\% $ 时，遮挡增强的效果趋于饱和，进一步增加仅带来微小增益，表明在中等增强率下实现了最优数据效率。