[论文解读] Accurate 3D Body Shape Regression using Metric and Semantic Attributes

Vasileios Choutas, Lea Müller+4 more|arXiv (Cornell University)|Jun 14, 2022

Human Pose and Action Recognition被引用 5

一句话总结

本文提出 SHAPY，一种深度学习模型，仅利用人体测量数据和众包获取的语言形状属性作为弱监督信号，即可从单张 RGB 图像回归出精确的 3D 人体形状。通过利用这些易于获取的信号（而非昂贵的 3D 扫描），该模型在新提出的野外场景基准（HBW）上实现了最先进性能，尽管监督信号有限，但在 3D 人体形状估计方面显著优于以往方法。

ABSTRACT

While methods that regress 3D human meshes from images have progressed rapidly, the estimated body shapes often do not capture the true human shape. This is problematic since, for many applications, accurate body shape is as important as pose. The key reason that body shape accuracy lags pose accuracy is the lack of data. While humans can label 2D joints, and these constrain 3D pose, it is not so easy to "label" 3D body shape. Since paired data with images and 3D body shape are rare, we exploit two sources of information: (1) we collect internet images of diverse "fashion" models together with a small set of anthropometric measurements; (2) we collect linguistic shape attributes for a wide range of 3D body meshes and the model images. Taken together, these datasets provide sufficient constraints to infer dense 3D shape. We exploit the anthropometric measurements and linguistic shape attributes in several novel ways to train a neural network, called SHAPY, that regresses 3D human pose and shape from an RGB image. We evaluate SHAPY on public benchmarks, but note that they either lack significant body shape variation, ground-truth shape, or clothing variation. Thus, we collect a new dataset for evaluating 3D human shape estimation, called HBW, containing photos of "Human Bodies in the Wild" for which we have ground-truth 3D body scans. On this new benchmark, SHAPY significantly outperforms state-of-the-art methods on the task of 3D body shape estimation. This is the first demonstration that 3D body shape regression from images can be trained from easy-to-obtain anthropometric measurements and linguistic shape attributes. Our model and data are available at: shapy.is.tue.mpg.de

研究动机与目标

• 解决缺乏配对图像-3D 人体形状数据以用于训练 3D 人体形状估计模型的问题。
• 提升在服装和姿态遮挡人体的非受限真实图像中 3D 人体形状的准确性。
• 实现仅使用易于收集的数据（如人体测量数据和语言属性）进行弱监督训练 3D 形状回归模型。
• 证明语言形状属性和稀疏测量数据可有效替代完整 3D 扫描用于模型训练。
• 建立一个新基准（HBW），用于评估在真实世界场景中具有真实 3D 扫描的 3D 人体形状估计。

提出的方法

• 作者收集了互联网上时尚模特的图像数据集，并附带人体测量数据（身高、胸围、腰围、臀围）。
• 通过众包评分者为 3D 人体网格及其对应图像收集语言形状属性（如“高挑”、“梨形身材”）。
• 训练一种新型神经网络 SHAPY，利用人体测量数据和语言属性作为监督信号，从 RGB 图像回归 SMPL-X 人体参数。
• 模型采用多任务学习设置，联合预测形状与姿态，其中形状受测量数据和属性提供的弱信号约束。
• 单独训练一个属性到形状（A2S）头，用于从语言属性预测 3D 形状，以正则化主网络。
• 作者引入一个新的基准数据集 HBW（野外人体），包含真实图像与真实 3D 人体扫描，用于评估。

实验结果

研究问题

• RQ1 能否仅使用人体测量数据和语言属性作为监督信号，从单张 RGB 图像中准确回归出 3D 人体形状？
• RQ2 语言形状属性在多大程度上可替代真实 3D 测量数据用于训练深度网络进行 3D 形状估计？
• RQ3 来自易于收集数据（测量数据与属性）的弱监督是否能实现野外 3D 人体形状估计的最先进性能？
• RQ4 与现有最先进方法相比，该模型在具有多样化服装和体型的真实图像上的表现如何？
• RQ5 是否可以有效利用包含真实世界图像与真实 3D 扫描的新基准来评估 3D 人体形状估计？

主要发现

• SHAPY 在 HBW 基准上实现了最先进性能，在测试集上的 P2P 误差为 6.8 mm，显著优于以往方法。
• 使用语言形状属性后，身高和围度预测误差相比仅使用测量数据的模型最高降低 1.0 mm。
• 即使仅使用身高或围度测量数据，加入属性仍能提升形状准确性，表明属性提供了有意义的形状归纳偏置。
• 在 3DPW 数据集上，SHAPY 达到 62.6 mm 的 PA-MPJPE，与最先进姿态估计模型性能相当，但略逊于表现最佳的方法。
• 该模型对多样化体型具有良好的泛化能力，但失败案例多见于高 BMI 和高度肌肉化的个体，表明当前 SMPL-X 表示存在局限性。
• 消融实验确认，语言属性可作为真实测量数据的有效替代，性能与或优于仅使用测量数据的基线模型。