[论文解读] Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering

Yu-Xuan Zhang, Wenzheng Chen+5 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 57

一句话总结

本文使用 GAN 生成的多视图数据集和可微分渲染器训练逆向图形网络，然后对 StyleGAN 潜在空间进行解耦，以创建一个可控的 3D 神经渲染器（StyleGAN-R）。

ABSTRACT

Differentiable rendering has paved the way to training neural networks to perform "inverse graphics" tasks such as predicting 3D geometry from monocular photographs. To train high performing models, most of the current approaches rely on multi-view imagery which are not readily available in practice. Recent Generative Adversarial Networks (GANs) that synthesize images, in contrast, seem to acquire 3D knowledge implicitly during training: object viewpoints can be manipulated by simply manipulating the latent codes. However, these latent codes often lack further physical interpretation and thus GANs cannot easily be inverted to perform explicit 3D reasoning. In this paper, we aim to extract and disentangle 3D knowledge learned by generative models by utilizing differentiable renderers. Key to our approach is to exploit GANs as a multi-view data generator to train an inverse graphics network using an off-the-shelf differentiable renderer, and the trained inverse graphics network as a teacher to disentangle the GAN's latent code into interpretable 3D properties. The entire architecture is trained iteratively using cycle consistency losses. We show that our approach significantly outperforms state-of-the-art inverse graphics networks trained on existing datasets, both quantitatively and via user studies. We further showcase the disentangled GAN as a controllable 3D "neural renderer", complementing traditional graphics renderers.

研究动机与目标

• 将 StyleGAN 用作多视图数据生成器，以实现从单目图像进行逆向图形。
• 训练基于可微分渲染器的逆向图形网络，以预测三维几何和纹理。
• 使用逆向图形对 StyleGAN 潜在空间进行解耦，以获得可解释的三维表示。
• 将 StyleGAN 转变为可控的 3D 神经渲染器（StyleGAN-R），对形状、纹理和背景实现显式三维控制。
• 展示改进的 3D 重建质量，并演示 3D 操作与神经渲染能力。

提出的方法

• 通过固定视点编码 w_v*、改变内容编码来使用 StyleGAN 生成多视图图像。
• 训练一个逆向图形网络 f_theta，使用 DIB-R 作为可微分渲染器，从图像 I_V 和掩码 M 预测网格 S 与纹理 T。
• 对视图对之间应用多视图一致性损失，以监督三维属性。
• 训练一个映射网络，将视点、形状、纹理和背景映射到 StyleGAN 的潜在空间 W*，实现解耦（StyleGAN-R）。
• 使用循环一致性损失，与映射网络共同微调 StyleGAN，以分离前景与背景并促进解耦。
• 可选地使用 StyleGAN-R 渲染结果，以与传统的可微分渲染器（DIB-R）进行比较。

实验结果

研究问题

• RQ1 GAN 是否能够隐式地学习三维知识，并在没有三维真值数据的情况下实现可逆以进行显式的三维推理？
• RQ2 在 GAN 生成的多视图数据上训练的基于可微分渲染器的逆向图形网络，是否优于在传统三维数据集上训练的模型？
• RQ3 是否可以通过从三维属性学习的映射，使 StyleGAN 的潜在空间解耦成可解释的三维属性（形状、纹理、背景）？
• RQ4 解耦 GAN 是否能够实现一个可控的 3D 神经渲染器，能够操控视点、形状、纹理和背景？
• RQ5 多视图一致性损失对重建质量的影响是什么？

主要发现

• 在 StyleGAN 多视图数据集上训练的逆向图形显著提高了三维重建质量，相较于在 Pascal3D 上训练的模型。
• StyleGAN 生成的数据集使训练数据规模更大且标注效率更高（例如，5万辆 StyleGAN 汽车 vs 约 4k Pascal3D），标注时间显著减少（几分钟对比数百小时）。
• 学得的映射网络和微调后的 StyleGAN 产生可解耦的 StyleGAN-R，具备可控的三维渲染能力，包括视点变化和三维属性交换（形状、纹理、背景）。
• 实验在重新投影视图上的评估显示更高的 2D IOU 分数，且用户研究偏好 StyleGAN 基于的重建结果胜过 Pascal3D 基线。
• 消融研究表明多视图一致性损失对于提升预测中的纹理和形状质量具有重要作用。