[论文解读] SNeRF: Stylized Neural Implicit Representations for 3D Scenes

Thu Nguyen-Phuoc, Feng Liu+1 more|arXiv (Cornell University)|Jul 5, 2022

Advanced Vision and Imaging被引用 13

一句话总结

SNeRF 提出了一种新颖的神经辐射场（NeRF）3D 场景风格化框架，通过交替进行 NeRF 训练与神经风格迁移，实现了高质量、多视角一致的风格化新视角。该方法通过一种内存高效的训练方案克服了 GPU 显存限制，在室内、室外及动态 4D 场景中实现了最先进的细粒度风格迁移与跨视角一致性结果。

ABSTRACT

This paper presents a stylized novel view synthesis method. Applying state-of-the-art stylization methods to novel views frame by frame often causes jittering artifacts due to the lack of cross-view consistency. Therefore, this paper investigates 3D scene stylization that provides a strong inductive bias for consistent novel view synthesis. Specifically, we adopt the emerging neural radiance fields (NeRF) as our choice of 3D scene representation for their capability to render high-quality novel views for a variety of scenes. However, as rendering a novel view from a NeRF requires a large number of samples, training a stylized NeRF requires a large amount of GPU memory that goes beyond an off-the-shelf GPU capacity. We introduce a new training method to address this problem by alternating the NeRF and stylization optimization steps. Such a method enables us to make full use of our hardware memory capacity to both generate images at higher resolution and adopt more expressive image style transfer methods. Our experiments show that our method produces stylized NeRFs for a wide range of content, including indoor, outdoor and dynamic scenes, and synthesizes high-quality novel views with cross-view consistency.

研究动机与目标

• 为解决逐帧 3D 风格化中的闪烁与不一致性问题，通过利用具有强几何归纳偏差的 3D 场景表示。
• 在训练过程中克服 GPU 显存限制，实现使用 NeRF 对 3D 场景进行高分辨率、高保真风格化的可行性。
• 开发一种可泛化、即插即用的框架，支持多种隐式场景表示与风格迁移方法。
• 实现 3D 场景中几何与外观的联合风格化，超越仅修改外观的方法。
• 将风格化扩展至动态 4D 虚拟形象，实现在时变场景中跨时间与空间的一致性风格迁移。

提出的方法

• 提出一种交替训练机制，循环优化 NeRF 场景表示并对其渲染图像应用神经风格迁移。
• 采用两阶段优化：首先使用预训练的风格迁移网络对渲染图像块进行风格化，然后微调 NeRF 以保持多视角一致性。
• 在每个训练步骤中对高分辨率图像块应用神经风格迁移，实现在不超出 GPU 显存限制的前提下捕捉精细风格。
• 通过反向传播梯度穿过 NeRF 渲染过程，保持跨视角一致性，确保几何一致性。
• 通过将 NeRF 公式扩展以包含时间作为坐标，支持静态场景与动态 4D 虚拟形象，实现时空风格化。
• 采用即插即用的架构，支持将各种 NeRF 变体与风格迁移模型作为模块化组件灵活集成。

实验结果

研究问题

• RQ1 能否通过利用 NeRF 等隐式神经表示，实现多视角下 3D 场景风格化的统一性？
• RQ2 在训练过程中，如何在严格 GPU 显存限制下实现高分辨率、细节丰富的风格化？
• RQ3 能否在 3D 场景中有效实现几何与外观的联合风格化，而非仅修改外观？
• RQ4 与单阶段方法相比，NeRF 训练与风格迁移之间的交替优化是否能提升风格化保真度与一致性？
• RQ5 该框架能否泛化至动态 4D 场景（如人类虚拟形象），同时保持时空一致性？

主要发现

• 与使用独立风格化图像的单阶段训练相比，交替训练机制显著提升了风格化质量与跨视角一致性。
• SNeRF 在风格化新视角合成任务中达到最先进性能，在定量指标与定性评估中均优于基于图像与基于 3D 的风格化方法。
• 该方法成功对多种场景类型（包括室内、室外及 4D 动态虚拟形象）进行风格化，展现出广泛的适用性。
• 通过交替优化 NeRF 与风格迁移，该框架实现在单张 V100 GPU 上进行高分辨率风格化（如 1008×548），突破了以往的显存瓶颈。
• 结果表明，同时对几何与外观进行风格化，相比仅修改 NeRF 的 RGB 分支的方法，能实现更忠实的风格迁移效果。
• 在‘烘焙’风格化 NeRF 后，该框架支持实时推理，适用于 AR/VR/MR 应用。