[论文解读] End-to-end Recovery of Human Shape and Pose

Angjoo Kanazawa, Michael J. Black+2 more|arXiv (Cornell University)|Dec 18, 2017

Human Pose and Action Recognition被引用 60

一句话总结

提出人体网格回归（HMR）——一个端到端系统，使用重投影损失和分解的对抗先验，在单张RGB图像中从完整的3D SMPL网格重建，可用于有无成对2D-3D数据训练，且实现实时运行。

ABSTRACT

We describe Human Mesh Recovery (HMR), an end-to-end framework for reconstructing a full 3D mesh of a human body from a single RGB image. In contrast to most current methods that compute 2D or 3D joint locations, we produce a richer and more useful mesh representation that is parameterized by shape and 3D joint angles. The main objective is to minimize the reprojection loss of keypoints, which allow our model to be trained using images in-the-wild that only have ground truth 2D annotations. However, the reprojection loss alone leaves the model highly under constrained. In this work we address this problem by introducing an adversary trained to tell whether a human body parameter is real or not using a large database of 3D human meshes. We show that HMR can be trained with and without using any paired 2D-to-3D supervision. We do not rely on intermediate 2D keypoint detections and infer 3D pose and shape parameters directly from image pixels. Our model runs in real-time given a bounding box containing the person. We demonstrate our approach on various images in-the-wild and out-perform previous optimization based methods that output 3D meshes and show competitive results on tasks such as 3D joint location estimation and part segmentation.

研究动机与目标

• 说明为何单视角3D人体网格重建在超出稀疏3D关节的情境下也有价值。
• 开发一个端到端框架，直接从图像特征回归SMPL的形状和姿态。
• 通过数据驱动的对抗先验来解决野外场景缺乏3D地面实况的问题。
• 展示实时性能并适用于野外图像和分割任务。

提出的方法

• 使用SMPL将身体形状和姿态参数化为10个形状系数和3K个姿态旋转。
• 采用迭代错误反馈循环，从图像特征回归85维的SMPL相关参数。
• 训练一个判别网络，用于对形状和姿态进行分解的对抗先验，以将输出正则化到人体流形上。
• 优化重投影损失，强制2D关键点与投影后的3D关节对齐，从而仅通过2D关键点注释实现弱监督。
• 在可用时可选地引入真实3D损失（关节和SMPL参数）以提高精度。
• 在弱监督设置下运行，允许在没有配对3D监督的情况下训练，同时保持有竞争力的3D关节估计与分割性能。

实验结果

研究问题

• RQ1 是否可以仅使用单张RGB图像，在不依赖2D关键点检测的情况下恢复完整的3D SMPL网格？
• RQ2 在缺乏3D地面实况时，数据驱动的对抗先验是否能使3D人体网格更逼真？
• RQ3 在野外图像中，端到端SMPL参数回归与多阶段3D姿态估计方法相比如何？
• RQ4 该方法是否能够实现实时推断，并有助于下游任务如分割？

主要发现

• 该方法通过直接从图像特征回归SMPL形状和姿态，生成完整的3D人体网格。
• 带反馈的迭代3D回归提高了恢复的稳定性和准确性。
• 一个分解的对抗先验（形状和按关节的姿态判别器）将输出正则化到人体流形上，使得在没有配对3D数据的情况下也能训练。
• 该方法在3D关节估计基准上优于以往基于2D关键点的SMPL方法，并且与仅预测3D关节的方法具有竞争力。
• 在给定人体边界框的情况下，该模型能够实时运行，并支持如身体部位分割等辅助任务。
• 实验表明，即使在没有任何配对3D监督的情况下（HMR未配对），也表现出很强的性能。