[论文解读] Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator

Zifan Shi, Yinghao Xu+4 more|arXiv (Cornell University)|Sep 30, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出GeoD，一种几何感知判别器，通过联合训练判别器以分类真实/虚假图像并提取3D几何信息（深度图和法线图），从而增强3D感知GAN，为生成器提供显式的3D监督。该方法显著提升了3D形状准确性，同时不损失图像质量，已在多个数据集和生成器架构上得到验证，并通过在判别器中增加新颖视图合成分支，进一步提升了多视角一致性。

ABSTRACT

3D-aware image synthesis aims at learning a generative model that can render photo-realistic 2D images while capturing decent underlying 3D shapes. A popular solution is to adopt the generative adversarial network (GAN) and replace the generator with a 3D renderer, where volume rendering with neural radiance field (NeRF) is commonly used. Despite the advancement of synthesis quality, existing methods fail to obtain moderate 3D shapes. We argue that, considering the two-player game in the formulation of GANs, only making the generator 3D-aware is not enough. In other words, displacing the generative mechanism only offers the capability, but not the guarantee, of producing 3D-aware images, because the supervision of the generator primarily comes from the discriminator. To address this issue, we propose GeoD through learning a geometry-aware discriminator to improve 3D-aware GANs. Concretely, besides differentiating real and fake samples from the 2D image space, the discriminator is additionally asked to derive the geometry information from the inputs, which is then applied as the guidance of the generator. Such a simple yet effective design facilitates learning substantially more accurate 3D shapes. Extensive experiments on various generator architectures and training datasets verify the superiority of GeoD over state-of-the-art alternatives. Moreover, our approach is registered as a general framework such that a more capable discriminator (i.e., with a third task of novel view synthesis beyond domain classification and geometry extraction) can further assist the generator with a better multi-view consistency.

研究动机与目标

• 为解决现有3D感知GAN的局限性，即尽管能生成高保真2D图像，却无法生成准确的3D形状。
• 指出传统GAN中判别器监督在3D形状学习方面不足，因其仅在2D图像空间中操作，存在形状-外观歧义风险。
• 提出一种几何感知判别器（GeoD），在判别器中增加3D几何提取分支，为生成器提供直接的3D监督。
• 通过在判别器中引入新颖的视图合成任务，扩展GeoD以进一步提升3D感知图像生成中的多视角一致性。
• 证明GeoD是一种可泛化的框架，适用于多种3D感知GAN架构和数据集。

提出的方法

• GeoD引入一个多任务判别器，可并行执行真实/虚假图像分类与3D几何提取（深度图和法线图）。
• 几何分支在仅真实图像上以无监督方式训练，利用外部预训练模型提供的真实几何监督。
• 生成器与判别器联合优化，从分类分支和几何分支接收梯度，以提升3D形状保真度。
• 几何提取分支通过附加在判别器上的轻量化网络头实现，与生成器端到端联合训练。
• 通过引入第三项任务——新颖视图合成，进一步扩展框架，使用IBRNet提升多视角一致性。
• 该方法已应用于多种3D感知GAN，包括π-GAN、StyleNeRF和VolumeGAN，证明其在不同架构间的泛化能力。

实验结果

研究问题

• RQ1 几何感知判别器是否能超越仅依赖2D监督的判别器，在3D感知GAN中进一步提升3D形状准确性？
• RQ2 在判别器中增加3D几何提取分支是否能减少形状-外观歧义，从而生成更真实的3D重建？
• RQ3 所提出的GeoD框架是否可在不同3D感知GAN架构和数据集中实现泛化？
• RQ4 在判别器中引入新颖视图合成分支是否能进一步增强生成图像的多视角一致性？
• RQ5 GeoD是否能在未微调真实几何标签的情况下，通过GAN反演提升真实图像的3D重建质量？

主要发现

• GeoD在所有评估数据集（FFHQ、AFHQ猫、LSUN卧室）上显著提升了3D形状准确性，表现为更低的SIDE分数，表明底层几何更准确。
• 在LSUN卧室数据集上，GeoD相比基线将SIDE指标降低了25.6%，证明了3D形状保真度的显著提升。
• 该方法保持或略微提升了FID分数，表明在增加3D监督的同时，未造成2D图像质量的退化。
• 当扩展为包含新颖视图合成分支时，GeoD通过更低的重建误差和更高的视角间感知相似度，显著提升了多视角一致性。
• 在GAN反演实验中，GeoD实现了更真实、更平滑的3D重建，且相比仅依赖2D监督的基线，新颖视图合成更具连贯性。
• 该框架在多种3D感知GAN（包括π-GAN、StyleNeRF和VolumeGAN）中均表现出良好泛化性，在各类架构中均稳定提升了几何质量。