[论文解读] Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data

Sebastian Lunz, Yingzhen Li+2 more|arXiv (Cornell University)|Feb 28, 2020

3D Shape Modeling and Analysis参考文献 60被引用 37

一句话总结

IG-GAN 学习从非结构化的二维图像生成三维形状，使用一款现成的不可微渲染器，与一个代理神经渲染器配对，以及一个 discriminator output matching 损失来将梯度传播到渲染过程。

ABSTRACT

Recent work has shown the ability to learn generative models for 3D shapes from only unstructured 2D images. However, training such models requires differentiating through the rasterization step of the rendering process, therefore past work has focused on developing bespoke rendering models which smooth over this non-differentiable process in various ways. Such models are thus unable to take advantage of the photo-realistic, fully featured, industrial renderers built by the gaming and graphics industry. In this paper we introduce the first scalable training technique for 3D generative models from 2D data which utilizes an off-the-shelf non-differentiable renderer. To account for the non-differentiability, we introduce a proxy neural renderer to match the output of the non-differentiable renderer. We further propose discriminator output matching to ensure that the neural renderer learns to smooth over the rasterization appropriately. We evaluate our model on images rendered from our generated 3D shapes, and show that our model can consistently learn to generate better shapes than existing models when trained with exclusively unstructured 2D images.

研究动机与目标

• 实现仅从非结构化的二维图像进行训练的三维形状生成，不使用可微渲染约束。
• 通过引入可训练的神经代理渲染器，利用现成的工业级渲染器。
• 通过判别器输出匹配来解决不可微分的问题，以使连续体素表示与离散渲染结果对齐。
• 在合成数据和自然数据集上展示相较于现有的二维监督方法的改进的三维形状生成质量。

提出的方法

• 将三维形状表示为具有连续占据值的体素。
• 使用现成的不可微渲染器对离散体素阈值进行渲染。
• 引入一个代理神经渲染器，将连续体素映射到二维图像，并使其在离散输入上与现成渲染器的输出通过 L2 损失进行匹配。
• 定义一个 discriminator output matching (DOM) 损失，在离散渲染被阈值化时使神经渲染器的输出与判别器的期望保持一致。
• 以 GAN 目标进行训练，让梯度通过代理渲染器从判别器回流到三维生成器。
• 采用一个奖励近似步骤，利用神经渲染器为连续体素生成器提供可微分的反馈（绕过难以处理的分数函数）。

实验结果

研究问题

• RQ1 是否可以仅使用非结构化的二维图像来学习一个可扩展的三维形状生成器，而无需可微渲染？
• RQ2 代理神经渲染器配合 DOM 损失是否能够在不可微渲染步骤中实现有效的梯度传播？
• RQ3 IG-GAN 相比现有的二维监督三维生成方法在合成数据和自然数据集上表现如何？
• RQ4 二维图像中的照明、阴影和凹陷对生成的三维形状质量有多大程度的提升作用？

主要发现

• IG-GAN 在 ShapeNet 派生数据集（浴缸、沙发、椅子等）上对基线的 2D FID 分数具有稳定的提升。
• 由于更好地利用照明和阴影线索，该方法在凹面物体（如浴缸和沙发）上尤其出色。
• Discriminator Output Matching (DOM) 对训练稳定性和质量至关重要；移除或削弱 DOM 会降低结果。
• 在自然图像（香菇蛹菇类 chanterelle mushrooms）以及合成数据上训练时，该方法可以产生真实感的三维形状。
• 预训练神经渲染器是有益的，但在使用与领域相关的数据进行预训练时，观察到对不同预训练的鲁棒性。