[论文解读] GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds

Jianfeng Xiang, Jiaolong Yang+2 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Vision and Imaging被引用 4

一句话总结

GRAM-HD 提出了一种3D感知的生成对抗网络，通过在学习到的辐射场流形上使用2D卷积神经网络在3D空间中执行超分辨率，从而生成最高达1024×1024分辨率的图像，并保持严格的多视角一致性。该方法在图像质量与3D一致性方面达到当前最优性能，同时相比先前方法显著降低了显存占用与推理成本。

ABSTRACT

Recent works have shown that 3D-aware GANs trained on unstructured single image collections can generate multiview images of novel instances. The key underpinnings to achieve this are a 3D radiance field generator and a volume rendering process. However, existing methods either cannot generate high-resolution images (e.g., up to 256X256) due to the high computation cost of neural volume rendering, or rely on 2D CNNs for image-space upsampling which jeopardizes the 3D consistency across different views. This paper proposes a novel 3D-aware GAN that can generate high resolution images (up to 1024X1024) while keeping strict 3D consistency as in volume rendering. Our motivation is to achieve super-resolution directly in the 3D space to preserve 3D consistency. We avoid the otherwise prohibitively-expensive computation cost by applying 2D convolutions on a set of 2D radiance manifolds defined in the recent generative radiance manifold (GRAM) approach, and apply dedicated loss functions for effective GAN training at high resolution. Experiments on FFHQ and AFHQv2 datasets show that our method can produce high-quality 3D-consistent results that significantly outperform existing methods. It makes a significant step towards closing the gap between traditional 2D image generation and 3D-consistent free-view generation.

研究动机与目标

• 从非结构化的2D图像集合中实现最高达1024×1024分辨率的3D一致性图像生成。
• 克服高分辨率3D感知生成对抗网络中神经体积渲染带来的计算瓶颈。
• 在实现超分辨率的同时严格保持多视角间的一致性，避免在图像空间中使用2D卷积神经网络进行上采样。
• 在不牺牲图像质量或一致性的情况下，显著降低显存占用与推理成本，相比现有3D感知生成对抗网络。

提出的方法

• 利用生成辐射场流形（GRAM）框架定义表示物体几何与辐射度的3D表面流形。
• 通过将流形展平并采样到2D网格上，再应用共享的2D卷积神经网络进行上采样与特征到辐射度的转换，实现超分辨率。
• 引入一种基于图像块的对抗性损失（$\mathcal{L}_{\mathrm{patch}}$），以抑制高分辨率输出中的棋盘状伪影。
• 应用一种跨分辨率一致性损失（$\mathcal{L}_{\mathrm{cons}}$），以稳定训练过程并防止出现如漂浮物体等虚假伪影。
• 采用共享的生成器网络结合风格调制，并使用独立的背景辐射度网络以提升真实感。
• 采用多尺度训练策略，从低分辨率流形开始，逐步优化至高分辨率输出。

Figure 2: The overall framework of our GRAM-HD method. The generator consists of two components: the radiance manifold generator and the manifold super-resolution module. The former generates radiance and feature manifolds that represent an LR 3D scene. Through manifold gridding, the manifolds are s

实验结果

研究问题

• RQ1 3D感知的生成对抗网络能否在保持严格多视角一致性的前提下生成高分辨率（1024×1024）图像？
• RQ2 是否可能在不依赖昂贵的3D卷积或2D图像空间上采样的情况下，高效实现3D超分辨率？
• RQ3 如何在高分辨率下稳定对抗性训练，以避免出现如棋盘状伪影或虚假物体等伪影？
• RQ4 在高分辨率优化过程中，哪种损失函数最有效地保持3D一致性和图像质量？
• RQ5 能否在不损害生成质量的前提下，显著降低3D感知生成对抗网络的计算成本？

主要发现

• GRAM-HD 在 FFHQ-256² 数据集上实现了11.8的 Fréchet Inception Distance（FID）分数，相比基线方法GRAM降低了21%。
• 与先前方法相比，1024×1024图像生成的推理时间减少了95%，展现出显著的效率提升。
• 在256×256分辨率下，显存占用减少了76%，推理时间相比GRAM降低了58%。
• 基于图像块的对抗性损失（$\mathcal{L}_{\mathrm{patch}}$）有效消除了高分辨率输出中的棋盘状伪影。
• 跨分辨率一致性损失（$\mathcal{L}_{\mathrm{cons}}$）有效防止了如前景中漂浮物体等虚假伪影的出现。
• 通过缓存的网格表示，实现了1024×1024分辨率下的实时自由视角合成，达到90 FPS。

Figure 3: Left: Rendered images and radiance maps on the surface manifolds. Three sampled manifolds are shown here. The corresponding LR results before super-resolution are presented at bottom right. Right: Extracted proxy 3D shapes at HR (top row) and LR (bottom row). The rendered images are shown