[论文解读] Learning Anthropometry from Rendered Humans

Song Yan, Joni‐Kristian Kämäräinen|arXiv (Cornell University)|Jan 7, 2021

3D Shape Modeling and Analysis参考文献 42被引用 11

一句话总结

本文提出了一种深度学习框架，可直接从2D RGB图像估计人体测量数据，无需经过3D重建。该研究引入了一个包含4,149个3D人体扫描的新数据集，以及一个包含200名受试者的现实世界RGB数据集，其地面真实值通过卷尺测量获得，从而实现了在使用基于部件的形状模型和基于回归的神经网络时，人体测量估计与形状重建的最先进性能。

ABSTRACT

Accurate estimation of anthropometric body measurements from RGB images has many potential applications in industrial design, online clothing, medical diagnosis and ergonomics. Research on this topic is limited by the fact that there exist only generated datasets which are based on fitting a 3D body mesh to 3D body scans in the commercial CAESAR dataset. For 2D only silhouettes are generated. To circumvent the data bottleneck, we introduce a new 3D scan dataset of 2,675 female and 1,474 male scans. We also introduce a small dataset of 200 RGB images and tape measured ground truth. With the help of the two new datasets we propose a part-based shape model and a deep neural network for estimating anthropometric measurements from 2D images. All data will be made publicly available.

研究动机与目标

• 为解决当前缺乏公开可用的真实RGB数据集以供训练和评估基于视觉的人体测量模型，特别是缺乏人体测量地面真实值的问题。
• 实现在无需中间3D人体网格重建的前提下，仅从单张RGB图像中准确估计34个体重测量值。
• 开发一种基于部件的形状模型，以比全局PCA模型更有效地捕捉局部身体部位的形态变化。
• 通过领域自适应技术弥合合成训练数据与真实世界应用之间的领域差距。
• 发布两个新数据集：4,149个3D扫描和200张真实RGB图像，其地面真实值通过卷尺测量获得，供公众使用。

提出的方法

• 作者引入了一个包含2,675名女性和1,474名男性的3D人体扫描的新数据集，并为这些扫描匹配了带纹理的3D人体网格。
• 通过在一致渲染条件下从3D扫描生成合成RGB图像，以训练深度神经网络，实现从图像到测量值的直接回归。
• 通过在身体部位（如上半身、骨盆）上应用主成分分析（PCA），构建基于部件的形状模型，以更好地捕捉局部形状变化。
• 网络架构使用深度卷积神经网络，直接从2D图像特征回归出34个人体测量值。
• 通过学习到的线性映射将预测的测量值转换为基于部件模型的形状系数，从而实现人体形状重建。
• 在200张真实图像数据集上训练非线性回归器，以实现从合成数据到真实世界数据的预测适应，提升领域泛化能力。

实验结果

研究问题

• RQ1 在渲染的合成图像上进行训练的深度神经网络，是否能在真实RGB图像上实现高精度的人体测量估计？
• RQ2 与全局PCA模型相比，基于部件的形状模型在捕捉局部身体形态变化方面表现如何？
• RQ3 当使用真实数据进行微调时，合成训练数据在多大程度上能泛化到真实世界的人体测量估计？
• RQ4 在真实应用中，3D扫描中自定义测量值与卷尺测量的地面真实值之间存在多大的性能差距？
• RQ5 从图像到测量值的直接回归方法，是否优于先重建3D网格的现有方法？

主要发现

• 在使用RGB图像评估XXX-fits数据集时，所提方法在头围测量上达到23.1 mm的平均绝对误差（MAE），在颈围测量上达到15.4 mm，性能达到最先进水平。
• 在CAESAR-fits数据集上，该方法在头围测量上实现10.7 mm的MAE，在颈围测量上实现12.1 mm的MAE，优于依赖轮廓图的先前方法。
• 在XXX-real-200数据集上，经合成图像训练的网络在整体身高测量上达到29.8 mm的MAE，尽管存在领域偏移，仍表现出良好泛化能力，具有竞争力。
• 与全局PCA模型相比，基于部件的形状模型显著降低了重建误差，尤其在局部测量上表现更优，如肱二头肌围（13.0 mm MAE）和前臂围（8.9 mm MAE）。
• 在200张真实图像数据集上使用非线性回归器可有效减小领域差距，提升真实数据上的性能表现，但工业应用仍需进一步适应。
• 作者发布了首个公开可用的数据集，包含4,149个3D扫描和200张真实RGB图像及其卷尺测量的地面真实值，为未来基于视觉的人体测量研究提供支持。