[论文解读] AnthroNet: Conditional Generation of Humans via Anthropometrics

Francesco Picetti, Shrinath Deshpande+15 more|arXiv (Cornell University)|Sep 7, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

AnthroNet 是一种深度生成模型，能够根据广泛的体型测量数据生成高分辨率 3D 人体网格，其在 100,000 个合成生成的带姿态人体网格上进行端到端训练。该模型实现了 SMPL-X 与 AnthroNet 网格之间的精确双向转换，并为学术研究提供了一个公开可用的合成数据生成器。

ABSTRACT

We present a novel human body model formulated by an extensive set of anthropocentric measurements, which is capable of generating a wide range of human body shapes and poses. The proposed model enables direct modeling of specific human identities through a deep generative architecture, which can produce humans in any arbitrary pose. It is the first of its kind to have been trained end-to-end using only synthetically generated data, which not only provides highly accurate human mesh representations but also allows for precise anthropometry of the body. Moreover, using a highly diverse animation library, we articulated our synthetic humans' body and hands to maximize the diversity of the learnable priors for model training. Our model was trained on a dataset of $100k$ procedurally-generated posed human meshes and their corresponding anthropometric measurements. Our synthetic data generator can be used to generate millions of unique human identities and poses for non-commercial academic research purposes.

研究动机与目标

• 开发一种基于全面客观体型测量数据的高分辨率、高表达性人体体模型。
• 通过完全基于合成生成数据训练，消除对真实人体扫描和动作捕捉数据的依赖。
• 实现 SMPL-X 与 AnthroNet 网格之间精确的双向配准，以确保与现有模型的互操作性。
• 为非商业学术用途提供公开可访问的合成数据生成器，促进多样性与可复现性。
• 通过学习的回归器，支持从任意 3D 扫描或人体模型中精确提取体型测量数据。

提出的方法

• 模型在 100,000 个程序生成的、多主体、多姿态的 3D 人体网格及其关联的体型测量数据上进行端到端训练。
• 采用深度生成架构，将潜在向量 Z 和编码的体型测量数据 A 解码为绑定姿态网格 X̃b^A。
• 通过网格蒙皮与姿态调整模块，对网格施加姿态特定的校正偏移 ΔX̃θ^A，以将其动画化为任意目标姿态 θ。
• 利用高度多样的动画库，以最大化训练过程中学习到的先验分布的多样性。
• 设计两条配准流水线，实现 SMPL-X 与 AnthroNet 网格之间的双向转换，确保与现有模型的兼容性。
• 训练体型测量回归器，以从真实扫描或其他模型中提取测量数据，实现通用的测量提取。

实验结果

研究问题

• RQ1 深度生成模型能否仅基于体型测量数据生成高分辨率 3D 人体网格？
• RQ2 仅使用合成数据在多大程度上能够实现无需真实扫描或动作捕捉数据的准确且多样化的人体建模？
• RQ3 AnthroNet 与 SMPL-X 之间的双向配准在多大程度上能保持形状与姿态的保真度？
• RQ4 该模型能否在高精度下泛化至从任意 3D 扫描或人体模型中提取体型测量数据？
• RQ5 使用全面的体型描述符对建模人体体型多样性与保真度有何影响？

主要发现

• AnthroNet 生成的 3D 人体网格分辨率超过 SMPL-X 的三倍，且对体型输入具有高度保真度。
• 模型在 100,000 个合成生成的、多样化且带姿态标注的人体网格上进行端到端训练，完全无需真实人体数据。
• 双向配准流水线可实现 SMPL-X 与 AnthroNet 网格之间的精确转换，促进与现有工具的集成。
• 体型测量回归器可无需网格特定校准，精确提取超过 30 项测量数据，适用于任意 3D 扫描或人体模型。
• 合成数据生成器已公开提供，供非商业学术用途，支持未来研究的可复现性与多样性。
• 在 HBW 数据集上的性能评估表明，当与预训练图像回归器结合时，AnthroNet 在毫米级误差范围内实现了具有竞争力的重建精度。