[论文解读] HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN

Adam Kania, Artur Kasymov+5 more|arXiv (Cornell University)|Jan 27, 2023

Computer Graphics and Visualization Techniques被引用 4

一句话总结

HyperNeRFGAN 提出了一种新颖的 GAN 架构，利用超网络从 2D 图像直接生成 3D 感知的神经辐射场（NeRF）权重，输入为随机噪声即可生成 NeRF 权重。该模型在 CARLA 和 ShapeNet 数据集上实现了最先进（SOTA）的 FID 分数，相较于基于 SIREN 的 GAN 和先前的 NeRF-GAN 方法，展现出更优的 3D 一致性与图像质量。

ABSTRACT

The recent surge in popularity of deep generative models for 3D objects has highlighted the need for more efficient training methods, particularly given the difficulties associated with training with conventional 3D representations, such as voxels or point clouds. Neural Radiance Fields (NeRFs), which provide the current benchmark in terms of quality for the generation of novel views of complex 3D scenes from a limited set of 2D images, represent a promising solution to this challenge. However, the training of these models requires the knowledge of the respective camera positions from which the images were viewed. In this paper, we overcome this limitation by introducing HyperNeRFGAN, a Generative Adversarial Network (GAN) architecture employing a hypernetwork paradigm to transform a Gaussian noise into the weights of a NeRF architecture that does not utilize viewing directions in its training phase. Consequently, as evidenced by the findings of our experimental study, the proposed model, despite its notable simplicity in comparison to existing state-of-the-art alternatives, demonstrates superior performance on a diverse range of image datasets where camera position estimation is challenging, particularly in the context of medical data.

研究动机与目标

• 开发一种基于 GAN 的生成模型，从无标注的 2D 图像中生成高质量的 3D NeRF 表示。
• 克服现有 GAN 因 NeRF 条件化困难而依赖 SIREN 而非 NeRF 的局限性。
• 通过利用 NeRF 的体素渲染与光线追踪，强制实现 3D 一致性，从而实现 3D 感知的图像合成。
• 在渲染组件中消除共享的全局参数，使每个生成对象拥有独立的专用 NeRF。
• 在 3D 泛化能力与图像质量方面优于先前的基于 SIREN 的 GAN 和 NeRF-GAN 基线模型。

提出的方法

• 超网络以随机高斯噪声为输入，生成目标 NeRF 模型的全部权重。
• 生成的 NeRF 权重通过体素渲染与光线追踪用于渲染新颖的 2D 视图。
• 使用标准的 2D StyleGAN2 判别器，以隐式、端到端的方式训练整个 GAN 架构。
• 模型仅在无标注的 2D 图像上进行训练，不访问真实 3D 几何信息。
• 通过利用 NeRF 的可微渲染过程，依赖 3D 空间与方向属性，强制实现 3D 一致性。
• 该方法避免在渲染头中共享参数，确保每个生成对象拥有唯一且专用的 NeRF 表示。

Figure 1: HyperNeRFGAN architecture leverages a hypernetwork paradigm to transfer gaussian noise into weights of NeRF model. After that, we render 2D novel views by NeRF and use a classical 2D discriminator. Our architecture produces 2D images, but we use 3D-aware NeRF representation, which forces t

实验结果

研究问题

• RQ1 超网络能否有效用于从 2D 图像生成 3D 物体的 NeRF 权重？
• RQ2 在 GAN 框架中用 NeRF 替代 SIREN 是否能提升 3D 一致性与图像质量？
• RQ3 仅在 2D 图像上训练的 GAN 能否生成具有高保真度与泛化能力的 3D 感知输出？
• RQ4 所提出的 HyperNeRFGAN 在 3D 生成任务中与基于 SIREN 的 GAN（如 π-GAN 和 GRAF）相比，其量化表现如何？
• RQ5 该模型能否从有限的 2D 视图中生成具有复杂材质属性（如玻璃透明性）的逼真 3D 物体？

主要发现

• 在 CARLA 数据集上，HyperNeRFGAN 的 Fréchet Inception Distance (FID) 达到 20.5，优于 π-GAN（29.2）、GRAF（41.7）和 HoloGAN（67.5）。
• 在 ShapeNet 数据集上，HyperNeRFGAN 的 FID 分数分别为：汽车 29.6，飞机 33.4，椅子 22.0，展现出强大的 3D 生成质量。
• 在 CelebA 上，HyperNeRFGAN 的 FID 为 15.04，KID 为 0.66，与 π-GAN（FID: 14.7，KID: 0.39）非常接近，同时保持了较高的 Inception Score（2.63）。
• 定性结果表明，HyperNeRFGAN 成功建模了复杂材质属性（如玻璃透明性），而 π-GAN 和 GRAF 在此方面表现不佳。
• 该模型生成了高质量的 3D 感知图像，并能重建出可用于下游任务（如网格提取，例如图 6）的 NeRF。
• 消融实验表明，在 GAN 框架中使用 NeRF 而非 SIREN 可显著提升 3D 一致性与图像质量，验证了核心设计选择的有效性。

Figure 2: Comparison of HyperNeRFGAN and HoloGAN, GRAF, $\pi$ -GAN on CARLA. We obtain similar results to $\pi$ -GAN, but we have a better value of FID score, see Tab 2 .