[论文解读] Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis

Liangchen Song, Zhong Li+5 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出 HALO，一种利用低频神经场来正则化少样本视图合成中的高频神经辐射场的方法，通过在渲染图像中强制保持频率一致性来防止过拟合。通过将粗略几何预测（低频）与细节建模（高频）分离，该方法在静态和动态场景中均提升了泛化能力并减少了伪影，实现了高效训练下的最先进性能。

ABSTRACT

Neural Radiance Fields (NeRF) have led to breakthroughs in the novel view synthesis problem. Positional Encoding (P.E.) is a critical factor that brings the impressive performance of NeRF, where low-dimensional coordinates are mapped to high-dimensional space to better recover scene details. However, blindly increasing the frequency of P.E. leads to overfitting when the reconstruction problem is highly underconstrained, \eg, few-shot images for training. We harness low-frequency neural fields to regularize high-frequency neural fields from overfitting to better address the problem of few-shot view synthesis. We propose reconstructing with a low-frequency only field and then finishing details with a high-frequency equipped field. Unlike most existing solutions that regularize the output space (\ie, rendered images), our regularization is conducted in the input space (\ie, signal frequency). We further propose a simple-yet-effective strategy for tuning the frequency to avoid overfitting few-shot inputs: enforcing consistency among the frequency domain of rendered 2D images. Thanks to the input space regularizing scheme, our method readily applies to inputs beyond spatial locations, such as the time dimension in dynamic scenes. Comparisons with state-of-the-art on both synthetic and natural datasets validate the effectiveness of our proposed solution for few-shot view synthesis. Code is available at \href{https://github.com/lsongx/halo}{https://github.com/lsongx/halo}.

研究动机与目标

• 解决在高频频段位置编码导致泛化能力差的少样本设置下 NeRF 的过拟合问题。
• 利用低频和高频神经场在插值与外推方面的互补特性，实现更优的新视角合成。
• 开发一种无需预训练先验或真实频率调优的、数据无关的输入空间正则化策略。
• 通过将时间作为额外输入维度，将方法扩展至动态场景，同时保持效率并减少时间上的闪烁。
• 提出一种基于渲染图像频率域一致性的简单但有效的频率调优准则。

提出的方法

• 该方法采用双流架构：仅使用低频的基于射线的场用于预测粗略几何与深度，以及基于点的高频场用于建模精细细节。
• 低频基于射线的场被训练以每条射线预测深度值，从而在平滑的低频信号上实现高效且稳定的优化。
• 通过低频几何预测对独立的基于点的辐射场进行正则化，以防止过拟合。
• 引入一种频率调优策略，通过迭代降低位置编码频率，直至在小视角变化下渲染图像的频率域保持稳定。
• 频率一致性准则应用于二维图像的频率域，通过设定谱变化的阈值来确定最优编码频率。
• 通过将时间作为输入维度，将框架扩展至动态场景，对时间频率域应用相同的正则化策略。

实验结果

研究问题

• RQ1 低频神经场能否有效正则化高频 NeRF，以防止在少样本视图合成中的过拟合？
• RQ2 基于低频信号的输入空间正则化是否在泛化能力和伪影减少方面优于输出空间正则化？
• RQ3 基于渲染图像谱一致性的频率调优准则能否替代人工或基于真实标签的频率选择？
• RQ4 该方法在稀疏多视角和时间观测下动态场景中的表现如何？
• RQ5 通过控制时间维的频率，该方法能否减少动态 NeRF 中的时间闪烁？

主要发现

• 在 StanfordLF 数据集上，HALO 在四角视图设置下达到 25.687 的 PSNR，显著优于 DietNeRF（22.815）和 RegNeRF（23.995）。
• 在 LLFF 数据集上，HALO 达到 25.687 的 PSNR 和 0.914 的 SSIM，仅使用四张训练图像即展现出强大的泛化能力。
• 在动态场景中，HALO 减少了时间闪烁并提升了视觉质量，与 TiNeuVox-S 相比 LPIPS 降低了 11.6%（0.182 vs. 0.116）。
• 该方法将每场景的训练时间缩短至 0.67 GPU 小时，显著快于 DietNeRF（4.25）和 RegNeRF（3.33）。
• 频率调优策略成功识别出最优编码频率，无需真实标签或预训练先验，提升了低数据场景下的鲁棒性。
• 视觉对比显示，与 TiNeuVox 及其他基线方法相比，HALO 在未观测区域和动态序列中生成了更清晰的细节和更少的浮动伪影。