[论文解读] AG3D: Learning to Generate 3D Avatars from 2D Image Collections

Zijian Dong, Xu Chen+4 more|arXiv (Cornell University)|May 3, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

AG3D 提出了一种新颖的对抗性生成模型，能够从非结构化的2D图像集合中学习生成具有逼真几何形状和外观的高保真3D化身，采用高效的关节模块与整体3D生成器，并结合多个专用判别器（包括法线图和面部区域判别器），在几何与外观质量方面均达到最先进水平，同时自然地建模了连衣裙和裙子等宽松衣物。

ABSTRACT

While progress in 2D generative models of human appearance has been rapid, many applications require 3D avatars that can be animated and rendered. Unfortunately, most existing methods for learning generative models of 3D humans with diverse shape and appearance require 3D training data, which is limited and expensive to acquire. The key to progress is hence to learn generative models of 3D avatars from abundant unstructured 2D image collections. However, learning realistic and complete 3D appearance and geometry in this under-constrained setting remains challenging, especially in the presence of loose clothing such as dresses. In this paper, we propose a new adversarial generative model of realistic 3D people from 2D images. Our method captures shape and deformation of the body and loose clothing by adopting a holistic 3D generator and integrating an efficient and flexible articulation module. To improve realism, we train our model using multiple discriminators while also integrating geometric cues in the form of predicted 2D normal maps. We experimentally find that our method outperforms previous 3D- and articulation-aware methods in terms of geometry and appearance. We validate the effectiveness of our model and the importance of each component via systematic ablation studies.

研究动机与目标

• 解决动画与渲染中缺乏多样化、高质量3D化身的问题，该问题受限于3D训练数据的稀缺性与高昂成本。
• 克服从非结构化的2D图像集合中生成逼真3D人体几何与外观的挑战，尤其针对可动身体与宽松衣物的建模。
• 通过仅从2D图像学习生成模型，消除对3D监督的依赖，实现可扩展且多样化的3D化身生成。
• 通过多判别器训练与基于2D法线图的几何监督，在高度约束不足的2D到3D生成设置中提升几何保真度与感知真实感。

提出的方法

• 采用基于三平面表示的单体3D生成器，实现高效的体素渲染与整体3D形状及外观建模。
• 集成基于Fast-SNARF的高效关节模块，实现对身体与宽松衣物的灵活形变，优于基于SMPL的最近邻方法。
• 在渲染过程中引入空域跳过机制，由粗略的人体先验引导，以在不损失质量的前提下加速推理。
• 使用多个判别器：一个用于RGB图像，一个用于预测的2D法线图，以及一个专用的面部判别器，以增强关键区域的真实感。
• 在图像分支与法线图分支上均应用对抗性损失，利用现成的单目法线估计器提供几何监督。
• 通过多分支GAN设置优化生成器，使每个判别器专注于特定方面（如面部、表面法线），以提升局部保真度。

Figure 2 : Method Overview. Holistic 3D Human Generation: Given a latent vector $\mathbf{z}$ , our method generates human shape $d$ and appearance $\mathbf{c}$ in canonical space. In addition, we compute surface normals $\mathbf{n}$ via the spatial derivatives of the canonical shape which is represe

实验结果

研究问题

• RQ1 生成式3D模型能否在无任何3D监督的情况下，从非结构化的2D图像集合中学习到逼真的人体几何与外观？
• RQ2 生成式模型如何在不进行部件分解的情况下，有效捕捉连衣裙和裙子等宽松衣物的复杂形变？
• RQ3 在约束不足的2D到3D生成设置中，引入2D法线图监督在多大程度上能提升生成3D化身的几何质量？
• RQ4 针对面部与法线图的专用判别器相较于单一全局判别器，在提升感知真实感方面有何贡献？
• RQ5 具备高效关节模块的整体3D生成器是否能在建模连续、流动的衣物方面超越基于部件的模型？

主要发现

• AG3D 在几何与外观质量方面均达到最先进水平，在FID与FID_normal等定量指标上优于先前的3D感知与关节感知方法。
• 引入法线图判别器显著减少了表面噪声与孔洞，尤其在面部区域表现明显，FID_normal指标大幅提升。
• 移除面部专用判别器后，FID_face指标出现大幅下降，证实其在提升面部真实感方面具有关键作用。
• 基于Fast-SNARF的关节模块成功实现了连衣裙与长发的形变，无分裂或不连续现象，而基于SMPL的基线方法在远离身体表面时会产生伪影。
• AG3D 在512²图像下实现9.5 FPS的推理速度，较EVA3D快三倍以上，同时在几何与外观质量方面表现更优。
• 消融研究证实，每个组件（法线图判别器、面部判别器、先进形变器）均对最终质量有显著贡献，完整模型在所有指标上均优于消融变体。

(a) View Control