[论文解读] 3D-Aware Encoding for Style-based Neural Radiance Fields

Yu-Jhe Li, Tao Xu+7 more|arXiv (Cornell University)|Nov 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 NeRF-3DE，一种用于 3D 感知风格化神经辐射场反演的两阶段编码器框架，实现了从单张图像到多视角合成的高保真度重建。通过结合视图不变的基础编码器与保持身份一致性的细化模块，该方法在现有 GAN 反演与基于优化的方法中实现了更优的 3D 一致性与身份保留性能，在重建质量与新颖视角渲染质量方面均优于基线模型。

ABSTRACT

We tackle the task of NeRF inversion for style-based neural radiance fields, (e.g., StyleNeRF). In the task, we aim to learn an inversion function to project an input image to the latent space of a NeRF generator and then synthesize novel views of the original image based on the latent code. Compared with GAN inversion for 2D generative models, NeRF inversion not only needs to 1) preserve the identity of the input image, but also 2) ensure 3D consistency in generated novel views. This requires the latent code obtained from the single-view image to be invariant across multiple views. To address this new challenge, we propose a two-stage encoder for style-based NeRF inversion. In the first stage, we introduce a base encoder that converts the input image to a latent code. To ensure the latent code is view-invariant and is able to synthesize 3D consistent novel view images, we utilize identity contrastive learning to train the base encoder. Second, to better preserve the identity of the input image, we introduce a refining encoder to refine the latent code and add finer details to the output image. Importantly note that the novelty of this model lies in the design of its first-stage encoder which produces the closest latent code lying on the latent manifold and thus the refinement in the second stage would be close to the NeRF manifold. Through extensive experiments, we demonstrate that our proposed two-stage encoder qualitatively and quantitatively exhibits superiority over the existing encoders for inversion in both image reconstruction and novel-view rendering.

研究动机与目标

• 为解决从单张图像反演至风格化神经辐射场（NeRF）的 3D 感知潜在空间的挑战，该任务需同时保证身份保留与 3D 视角一致性。
• 克服现有 GAN 反演方法在应用于 NeRF 时的局限性，即潜在码常无法保持视图不变性且偏离有效潜在流形。
• 设计一种两阶段编码器，首先通过身份对比学习学习视图不变的潜在码，随后通过第二阶段细化以增强细节，提升图像保真度。
• 确保潜在码位于 NeRF 流形附近，以支持有效细化与稳定优化。
• 证明所学习的潜在码可作为在线优化方法（如 PTI 和 W+ 优化）的有效初始化。

提出的方法

• 采用两阶段编码器架构：基础编码器将输入图像映射至 W 空间的潜在码，随后由细化编码器增强身份细节。
• 基础编码器通过身份对比学习进行训练，以在相同物体的多个视角间强制实现视图不变性。
• 在真实图像与生成图像之间应用特征级损失（L_feat），以保持结构与语义一致性。
• 引入三平面特征损失（L_tri），以在训练过程中增强 3D 结构与身份保留。
• 模型同时使用真实图像与生成视图进行训练，后者用于监督潜在码在不同视角间的泛化能力。
• 通过提供高质量初始潜在码，该框架支持与在线优化技术的集成，如 PTI 和 W+ 优化。

实验结果

研究问题

• RQ1 两阶段编码器架构能否有效从单张图像中学习到 3D 一致且身份保留的潜在码，用于风格化 NeRF？
• RQ2 与标准 GAN 反演方法相比，基础编码器中的身份对比学习在提升视图不变性与 3D 一致性方面有何优势？
• RQ3 通过第二阶段编码器对潜在码进行细化，在不损害 3D 结构的前提下，能在多大程度上提升身份与细节保留？
• RQ4 所学习的潜在码是否可作为在线优化方法（如 PTI 或 W+ 优化）的更优初始化，优于随机初始化或基线编码器？
• RQ5 真实图像、生成视图与特征级损失在实现鲁棒 NeRF 反演中的相对贡献如何？

主要发现

• 所提出的 NeRF-3DE 在四个偏航角下均取得了所有基线中的最高身份（ID）得分，甚至优于在重建方面表现优异的 PTI，后者在身份保留方面表现不佳。
• 同时使用真实图像与生成视图并结合完整特征损失（L_feat）的模型实现了 3D 一致性与身份保真度的最佳平衡，消融实验表明，若省略任一组件，性能均会下降。
• 仅使用生成图像（无真实图像）会导致身份保留能力下降，证明真实图像监督对身份对齐的必要性。
• 三平面特征损失（L_tri）在保留 3D 结构与身份方面的作用比其他组件更为关键，消融研究已证实这一点。
• 两阶段编码器设计显著提升了新颖视角渲染质量，经细化的潜在码生成的视角比仅使用基础编码器时更清晰、更一致。
• NeRF-3DE 学习到的潜在码作为在线优化的初始化，显著优于随机或基线编码器，能加速收敛，并在 PTI 与 W+ 优化中同时提升图像质量与 3D 一致性。