[论文解读] Generating 3D People in Scenes without People

Yan Zhang, Mohamed S. Hassan+3 more|arXiv (Cornell University)|Dec 5, 2019

Human Pose and Action Recognition参考文献 56被引用 4

一句话总结

本文提出了一种两阶段生成框架，可自动在无人3D场景中合成语义上和物理上合理的3D人体。该方法使用以场景深度和语义为条件的条件变分自编码器（CVAE）生成多样化、形状感知的人体网格，随后通过几何感知拟合来确保物理合理性，显著优于先前方法，在真实感、多样性及交互保真度方面表现更优。

ABSTRACT

We present a fully automatic system that takes a 3D scene and generates plausible 3D human bodies that are posed naturally in that 3D scene. Given a 3D scene without people, humans can easily imagine how people could interact with the scene and the objects in it. However, this is a challenging task for a computer as solving it requires that (1) the generated human bodies to be semantically plausible within the 3D environment (e.g. people sitting on the sofa or cooking near the stove), and (2) the generated human-scene interaction to be physically feasible such that the human body and scene do not interpenetrate while, at the same time, body-scene contact supports physical interactions. To that end, we make use of the surface-based 3D human model SMPL-X. We first train a conditional variational autoencoder to predict semantically plausible 3D human poses conditioned on latent scene representations, then we further refine the generated 3D bodies using scene constraints to enforce feasible physical interaction. We show that our approach is able to synthesize realistic and expressive 3D human bodies that naturally interact with 3D environment. We perform extensive experiments demonstrating that our generative framework compares favorably with existing methods, both qualitatively and quantitatively. We believe that our scene-conditioned 3D human generation pipeline will be useful for numerous applications; e.g. to generate training data for human pose estimation, in video games and in VR/AR. Our project page for data and code can be seen at: \url{https://vlg.inf.ethz.ch/projects/PSI/}.

研究动机与目标

• 为解决3D场景中缺乏真实、自动生成的3D人体的问题，该问题限制了其在VR/AR、机器人技术及合成数据生成中的应用。
• 建模语义上合理的人员-场景交互，使人体相对于场景物体具有意义的位置关系（例如，坐在沙发上、站在炉子附近）。
• 通过防止身体相互穿透并强制实现表面接触，确保物理上可行的交互，同时保持自然姿态。
• 开发一种场景条件化的3D人体生成流水线，可作为下游任务（如单目3D人体姿态估计）的先验。
• 建立新数据集和评估指标的基准，用于场景感知的3D人体网格生成。

提出的方法

• 训练一个条件变分自编码器（CVAE），使其基于场景深度和语义的潜在表征生成3D人体网格。
• 采用SMPL-X模型作为底层人体表示，支持具有形状和姿态参数的详细、可微分3D网格输出。
• 在生成后应用场景几何感知拟合，以优化姿态，最小化身体穿插并确保与场景表面接触。
• 引入损失项 $\mathcal{L}_f$，通过惩罚碰撞和漂浮来强制实现物理合理性。
• 在扩展版PROX-Qualitative数据集上进行训练，合成数据通过从多个虚拟视角渲染生成。
• 采用三种评估指标进行评估：语义合理性、物理合理性及多样性，结合用户研究与定量基准。

实验结果

研究问题

• RQ1 学习到的生成模型能否在无人工监督的情况下，生成多样化且语义合理的3D人体姿态？
• RQ2 场景几何感知拟合在纠正如穿插或漂浮等物理上不合理的姿态配置方面效果如何？
• RQ3 场景条件化先验在从单目RGB图像进行3D人体姿态估计时，能多大程度上提升性能？
• RQ4 所提方法在3D人体网格生成方面，与最先进基线方法相比，在定量和定性层面表现如何？
• RQ5 该方法能否在多样化室内场景中泛化，并生成逼真的3D人体-场景交互？

主要发现

• 所提方法生成的3D人体在多样性方面显著优于基线方法，如表2所示，多样性得分提升25%，同时保持了相近的语义合理性。
• 用户研究表明，该方法在PROX-E上的平均评分为3.49/5.0，在MP3D-R上为3.30/5.0，优于基线方法，且在加入物理损失后进一步提升。
• 该方法在PROX-Quantitative数据集上提升了3D人体姿态估计性能，将平均关节点误差（PJE）降低至174.10 mm，顶点到顶点误差（V2V）降低至171.75 mm，优于Simplify-X并达到与PROX相当的水平。
• 几何感知拟合步骤有效减少了穿插现象并提升了物理合理性，定性结果表明碰撞惩罚更低，接触一致性更优。
• 由模型导出的场景条件化先验通过提供场景感知的初始化，提升了3D姿态估计性能，与标准基线相比，V2V误差最高降低1.5%。
• 该方法在生成逼真、多样化且物理合理的3D人体方面达到最先进性能，经由全面的定量与定性评估验证。