[论文解读] ARF: Artistic Radiance Fields

Kai Zhang, Nick Kolkin+5 more|arXiv (Cornell University)|Jun 13, 2022

Computer Graphics and Visualization Techniques被引用 7

一句话总结

ARF 通过使用辐射场将 2D 风格图像中的艺术特征转移到 3D 场景，提出了一种新颖的 3D 风格化方法。它采用最近邻特征匹配（NNFM）损失来保留细节和笔触，优于基于 Gram 矩阵的损失，并利用延迟反向传播实现全分辨率风格损失优化，同时降低内存使用，从而生成高保真、视角一致的风格化渲染结果。

ABSTRACT

We present a method for transferring the artistic features of an arbitrary style image to a 3D scene. Previous methods that perform 3D stylization on point clouds or meshes are sensitive to geometric reconstruction errors for complex real-world scenes. Instead, we propose to stylize the more robust radiance field representation. We find that the commonly used Gram matrix-based loss tends to produce blurry results without faithful brushstrokes, and introduce a nearest neighbor-based loss that is highly effective at capturing style details while maintaining multi-view consistency. We also propose a novel deferred back-propagation method to enable optimization of memory-intensive radiance fields using style losses defined on full-resolution rendered images. Our extensive evaluation demonstrates that our method outperforms baselines by generating artistic appearance that more closely resembles the style image. Please check our project page for video results and open-source implementations: https://www.cs.cornell.edu/projects/arf/ .

研究动机与目标

• 通过艺术风格图像实现真实世界场景的高保真 3D 风格化，同时保留局部细节和多视角一致性。
• 解决以往 3D 风格化方法依赖几何重建（如网格或点云）的局限性，这些方法在复杂场景中容易产生伪影。
• 克服现有 3D 风格化方法中基于 Gram 矩阵的风格损失导致的模糊和风格细节丢失问题。
• 通过一种新颖的内存高效训练技术，实现对内存密集型辐射场的全分辨率图像损失优化。
• 通过专门的色彩迁移步骤和改进的损失设计，实现忠实的色彩匹配和高质量的风格化效果。

提出的方法

• 该方法将 3D 风格化建模为在预重建的逼真辐射场上的优化问题，通过最小化内容损失和风格损失来实现。
• 提出一种最近邻特征匹配（NNFM）损失，将渲染图像中的局部特征向量与风格图像 VGG 特征图中最近邻的特征进行匹配，从而增强局部细节的保留。
• 采用基于 VGG 的特征损失以保留内容结构，确保风格化场景与原始几何形状保持一致。
• 应用色彩迁移技术，将风格化渲染的色彩基调与输入风格图像对齐，提升视觉保真度。
• 提出延迟反向传播方法，以缓存和分块累积梯度的方式，实现全分辨率 VGG 基风格损失的计算，同时显著降低 GPU 内存使用。
• 该方法兼容多种辐射场表示形式，包括 NeRF、Plenoxels 和 TensoRF，具备广泛的适用性。

实验结果

研究问题

• RQ1 与基于网格或点云的方法相比，基于辐射场的方法是否能在复杂真实世界场景中实现更优的 3D 风格化质量？
• RQ2 基于最近邻的风格损失（NNFM）是否比广泛使用的基于 Gram 矩阵的损失更有效地保留如笔触等精细艺术细节？
• RQ3 能否在不造成 GPU 内存过度消耗的情况下，高效优化内存密集型辐射场的全分辨率风格损失？
• RQ4 用于特征提取的 VGG 层选择如何影响风格化 3D 渲染的质量？
• RQ5 色彩迁移在多大程度上提升了风格化渲染与输入风格图像之间的视觉匹配度？

主要发现

• NNFM 损失在保留局部风格细节方面显著优于基于 Gram 矩阵的损失，减少了模糊现象，生成了更锐利、更忠实的风格化渲染结果。
• 用户研究表明，ARF 在视觉质量和风格保真度方面始终优于基线方法。
• 该方法在复杂场景中，即使在具有复杂几何结构的多视角下，也能生成视角一致的风格化渲染结果。
• 消融实验证实，NNFM 损失和色彩迁移阶段对实现高质量结果均至关重要，任一组件的移除都会导致明显退化。
• 延迟反向传播使全分辨率风格损失计算的 GPU 内存使用量相比标准方法降低了 50%-70%。
• ARF 在多样化的现实世界场景（包括 Tanks and Temples 数据集中的场景）上实现了最先进的风格化质量，与基于网格的基线方法相比，几何伪影极少。