[论文解读] DARF: Depth-Aware Generalizable Neural Radiance Field

Yue Shi, Dingyi Rong+4 more|arXiv (Cornell University)|Dec 5, 2022

Advanced Vision and Imaging被引用 7

一句话总结

本文提出GARF，一种几何感知的广义神经辐射场，可在无需每场景优化的情况下实现实时新颖视图合成与无监督深度估计。通过引入几何感知动态采样（GADS）策略和多层级语义一致性损失，GARF在保持渲染质量与3D几何估计性能的同时，将采样点数减少25%以上，优于当前最先进方法。

ABSTRACT

Neural Radiance Field (NeRF) has revolutionized novel-view rendering tasks and achieved impressive results. However, the inefficient sampling and per-scene optimization hinder its wide applications. Though some generalizable NeRFs have been proposed, the rendering quality is unsatisfactory due to the lack of geometry and scene uniqueness. To address these issues, we propose the Depth-Aware Generalizable Neural Radiance Field (DARF) with a Depth-Aware Dynamic Sampling (DADS) strategy to perform efficient novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalizable NeRFs, our framework infers the unseen scenes on both pixel level and geometry level with only a few input images. By introducing a pre-trained depth estimation module to derive the depth prior, narrowing down the ray sampling interval to the proximity space of the estimated surface, and sampling in expectation maximum position, we preserve scene characteristics while learning common attributes for novel-view synthesis. Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist with more informative representation learning. Extensive experiments on indoor and outdoor datasets show that compared with state-of-the-art generalizable NeRF methods, DARF reduces samples by 50%, while improving rendering quality and depth estimation. Our code is available on https://github.com/shiyue001/GARF.git.

研究动机与目标

• 解决现有神经辐射场在新颖视图合成与深度估计中效率低下且泛化能力差的问题。
• 仅使用少量输入图像，在无需每场景优化的情况下，实现在未见场景中的精确渲染与几何估计。
• 在学习多样化场景间共性特征的同时，保留场景特异性特征，以提升泛化能力。
• 通过几何感知动态采样策略降低采样复杂度与推理时间。
• 通过多层级语义一致性损失增强特征表示学习，以提升渲染保真度。

提出的方法

• 提出一种几何感知动态采样（GADS）策略，利用无监督深度估计结果，将射线采样限制在估计表面点的邻近区域。
• 在点级别引入可学习的多视角特征融合模块，以缓解遮挡问题并提升特征表示能力。
• 采用编码器-解码器结构，并结合自监督深度估计模块，生成粗略几何信息以指导采样。
• 在受限采样区间内采用“预测-精炼”策略，逐步定位表面点。
• 引入多层级语义一致性（MSC）损失，结合像素级与语义特征匹配，以增强表示学习。
• 使用标准NeRF风格的体素渲染流程，将融合后的特征解码为密度与颜色，实现体素渲染。

实验结果

研究问题

• RQ1 广义NeRF模型是否能在无需每场景优化的情况下，实现在未见场景中的高保真新颖视图合成与精确深度估计？
• RQ2 如何在保持或提升渲染质量与几何估计性能的同时，提高采样效率？
• RQ3 与均匀采样或固定采样策略相比，将几何感知融入采样过程能在多大程度上提升性能？
• RQ4 多层级语义一致性损失在增强特征表示与渲染真实感方面效果如何？
• RQ5 在减少采样点数时，采样效率与渲染质量之间的权衡关系如何？

主要发现

• 与当前最先进广义NeRF方法相比，GARF在DTU和LLFF数据集上均将采样点数减少25%以上，同时PSNR更高。
• 在DTU数据集上，GARF仅使用48+48个采样点即达到28.80的PSNR，优于使用128个采样点的方法在PSNR与SSIM指标上的表现。
• 在LLFF数据集上，GARF将采样点数减少50%，PSNR较基线方法提升6%。
• 与标准NeRF采样相比，GADS策略使视图合成PSNR提升6%以上，深度估计平均提升11.5%。
• 多层级语义一致性（MSC）损失显著提升了图像真实感与连贯性，尤其在边缘与细线区域表现更优，体现在LPIPS降低与SSIM提升。
• 消融实验表明，在采样间隔Δd = 0.8时性能最优，即使采样点数减少至20个，图像质量仍可媲美128点方法，展现出极高的效率。