[论文解读] Delving Deep Into Hybrid Annotations for 3D Human Recovery in the Wild

Yu Rong, Ziwei Liu+3 more|arXiv (Cornell University)|Aug 18, 2019

Video Surveillance and Tracking Methods参考文献 26被引用 5

一句话总结

本文研究了在非受限（真实场景）环境下单图3D人体重建的混合标注方法，提出密集对应关系（如DensePose生成的IUV图）是一种高效且低成本的替代方案，可替代昂贵的真实场景3D标注。作者证明，使用密集对应关系训练的模型可达到使用完整成对3D数据训练模型92%的性能，使其成为现实世界3D人体重建中一种强大且高效的监督信号。

ABSTRACT

Though much progress has been achieved in single-image 3D human recovery, estimating 3D model for in-the-wild images remains a formidable challenge. The reason lies in the fact that obtaining high-quality 3D annotations for in-the-wild images is an extremely hard task that consumes enormous amount of resources and manpower. To tackle this problem, previous methods adopt a hybrid training strategy that exploits multiple heterogeneous types of annotations including 3D and 2D while leaving the efficacy of each annotation not thoroughly investigated. In this work, we aim to perform a comprehensive study on cost and effectiveness trade-off between different annotations. Specifically, we focus on the challenging task of in-the-wild 3D human recovery from single images when paired 3D annotations are not fully available. Through extensive experiments, we obtain several observations: 1) 3D annotations are efficient, whereas traditional 2D annotations such as 2D keypoints and body part segmentation are less competent in guiding 3D human recovery. 2) Dense Correspondence such as DensePose is effective. When there are no paired in-the-wild 3D annotations available, the model exploiting dense correspondence can achieve 92% of the performance compared to a model trained with paired 3D data. We show that incorporating dense correspondence into in-the-wild 3D human recovery is promising and competitive due to its high efficiency and relatively low annotating cost. Our model trained with dense correspondence can serve as a strong reference for future research.

研究动机与目标

• 系统评估不同标注类型在训练真实场景3D人体重建深度神经网络时的成本效益权衡。
• 探究当真实场景成对3D标注数据稀缺或不可用时，密集对应关系是否可作为其可行替代方案。
• 将使用混合标注训练的模型性能与当前最先进方法进行基准对比，重点关注密集对应关系的表现。
• 为未来真实场景3D人体重建研究建立一个统一、简洁的基线框架。

提出的方法

• 作者采用双分支编码器网络，以RGB图像和IUV图（密集对应关系）作为输入，预测SMPL参数。
• 他们使用多种标注组合进行模型训练：成对真实场景3D标注、受限3D标注（如Human3.6M）、2D关键点、人体部位分割和IUV图。
• 关键组件是一个精炼步骤，用于去除IUV图中的噪声预测，从而生成可靠的密集关键点作为监督信号。
• 模型采用端到端训练，损失函数最小化顶点误差（PVE）和密集关键点距离（DKD）。
• 实验对比了不同标注类型作为监督信号和输入特征时的性能表现。
• 该框架在COCO-DensePose、UP-3D和3DPW数据集上进行评估，使用DKD和PVE等标准指标。

实验结果

研究问题

• RQ1 当缺乏成对真实场景3D标注时，密集对应关系（如IUV图）作为监督信号在真实场景3D人体重建中的有效性如何？
• RQ2 仅使用20%的成对真实场景3D标注与完整监督相比，性能下降程度如何？
• RQ3 在非受限环境下，稀疏2D关键点与人体部位分割在引导3D模型重建方面表现如何？
• RQ4 密集对应关系是否可作为强输入模态，不仅提供监督，还能提升模型泛化能力？
• RQ5 与当前最先进方法相比，所提方法在重建精度方面表现如何？

主要发现

• 使用成对真实场景3D标注训练的模型性能最佳，但若排除80%此类数据，重建误差仅增加5%。
• 当完全无成对真实场景3D标注时，使用密集对应关系作为监督的模型，其性能达到使用完整成对3D数据训练模型的92%。
• 在无3D标注的情况下，仅使用稀疏2D关键点作为监督的模型性能下降60%。
• 将密集标注（如人体部位分割）作为输入仅带来微小性能提升，不足以作为主要监督信号。
• 引入密集对应关系可使性能提升2.9%，并使仅使用20%成对3D数据训练的模型达到使用完整3D数据训练模型的性能水平。
• 在UP-3D数据集上，仅使用密集对应关系训练的模型达到137.5毫米的PVE，与使用成对3D标注训练的最先进方法相当。