[论文解读] 4K-NeRF: High Fidelity Neural Radiance Fields at Ultra High Resolutions

Zhongshu Wang, Lingzhi Li+3 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Vision and Imaging被引用 15

一句话总结

本文提出4K-NeRF，一种新颖的框架，通过利用具有射线相关性和基于图像块采样的3D感知编码器-解码器架构，在4K超高清分辨率下显著提升了高保真新视角合成效果。通过在低分辨率空间中建模几何上下文，并在全分辨率下通过深度调制卷积恢复精细细节，该方法在高频频响细节恢复方面相比像素级NeRF基线方法实现了最先进的视觉质量。

ABSTRACT

In this paper, we present a novel and effective framework, named 4K-NeRF, to pursue high fidelity view synthesis on the challenging scenarios of ultra high resolutions, building on the methodology of neural radiance fields (NeRF). The rendering procedure of NeRF-based methods typically relies on a pixel-wise manner in which rays (or pixels) are treated independently on both training and inference phases, limiting its representational ability on describing subtle details, especially when lifting to a extremely high resolution. We address the issue by exploring ray correlation to enhance high-frequency details recovery. Particularly, we use the 3D-aware encoder to model geometric information effectively in a lower resolution space and recover fine details through the 3D-aware decoder, conditioned on ray features and depths estimated by the encoder. Joint training with patch-based sampling further facilitates our method incorporating the supervision from perception oriented regularization beyond pixel-wise loss. Benefiting from the use of geometry-aware local context, our method can significantly boost rendering quality on high-frequency details compared with modern NeRF methods, and achieve the state-of-the-art visual quality on 4K ultra-high-resolution scenarios. Code Available at \url{https://github.com/frozoul/4K-NeRF}

研究动机与目标

• 为解决基于NeRF的方法在4K超高清分辨率下因逐像素射线处理而难以保留高频细节的局限性。
• 通过建模射线相关性并利用几何上下文，提升对精细细节的表征能力。
• 通过结合感知导向正则化的联合训练策略，在4K新视角合成中实现最先进的视觉质量。
• 展示深度调制卷积和基于图像块的采样在提升渲染保真度方面的有效性。

提出的方法

• 引入3D感知编码器，从低分辨率射线特征中提取几何特征和估计深度。
• 采用具有深度调制卷积的3D感知解码器，在全分辨率空间中重建高频细节。
• 使用基于图像块的射线采样，实现编码器与解码器的联合训练，并结合基于感知的损失函数。
• 引入多尺度损失，包括L1、感知损失和对抗性损失，以提升纹理和细节质量。
• 通过同时依赖射线特征和预测深度来引导解码器，以增强视角一致性和细节恢复能力。
• 联合训练编码器与解码器，使几何建模与局部上下文学习得以协同优化。

实验结果

研究问题

• RQ1 通过几何上下文建模射线相关性，是否能显著提升超高清NeRF渲染中的高频细节恢复？
• RQ2 与标准随机采样和像素级MSE损失相比，基于感知损失的图像块采样在提升细节方面表现如何？
• RQ3 解码器中引入深度调制在多大程度上提升了4K渲染中的视角一致性和细节保真度？
• RQ4 所提出的框架在包含反射和半透明等复杂场景类型中是否具备良好的泛化能力？
• RQ5 结合多种损失函数（如感知损失与对抗性损失）对视觉质量与伪影减少有何影响？

主要发现

• 在4K-Synthetic-NeRF和4K-LLFF基准测试中，4K-NeRF实现了SOTA视觉质量，显著减少了模糊现象并提升了高频细节恢复能力。
• 在'Fern'场景中，LPIPS降低至0.162，NIQE降低至4.20，优于基线方法TensoRF（LPIPS: 0.464，NIQE: 7.172）。
• 消融实验表明，若移除对抗性损失，LPIPS上升至0.205，NIQE上升至6.89，表明其在提升纹理锐度方面具有关键作用。
• 若不使用深度调制，LPIPS上升至0.189，SSIM下降至0.754，证实深度引导可有效提升视角一致性。
• 仅使用L1损失会导致模糊伪影，尽管PSNR较高（23.69），表明度量指标与感知质量之间存在权衡。
• 当将DVGO编码器替换为TensoRF时，该框架仍表现出良好泛化能力，在'Fern'场景中LPIPS降低至0.342（对比0.452），NIQE也得到改善。