[论文解读] FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization

Jiawei Yang, Marco Pavone+1 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Vision and Imaging被引用 7

一句话总结

FreeNeRF 引入了一种简单而有效的频率正则化技术，通过输入频率控制和近相机密度正则化显著提升了 NeRF 在少样本神经渲染中的训练稳定性。仅需一行代码修改，即可在不增加计算量或外部监督的情况下，在 Blender、DTU 和 LLFF 数据集上实现最先进性能。

ABSTRACT

Novel view synthesis with sparse inputs is a challenging problem for neural radiance fields (NeRF). Recent efforts alleviate this challenge by introducing external supervision, such as pre-trained models and extra depth signals, and by non-trivial patch-based rendering. In this paper, we present Frequency regularized NeRF (FreeNeRF), a surprisingly simple baseline that outperforms previous methods with minimal modifications to the plain NeRF. We analyze the key challenges in few-shot neural rendering and find that frequency plays an important role in NeRF's training. Based on the analysis, we propose two regularization terms. One is to regularize the frequency range of NeRF's inputs, while the other is to penalize the near-camera density fields. Both techniques are ``free lunches'' at no additional computational cost. We demonstrate that even with one line of code change, the original NeRF can achieve similar performance as other complicated methods in the few-shot setting. FreeNeRF achieves state-of-the-art performance across diverse datasets, including Blender, DTU, and LLFF. We hope this simple baseline will motivate a rethinking of the fundamental role of frequency in NeRF's training under the low-data regime and beyond.

研究动机与目标

• 解决神经辐射场（NeRF）中从稀疏输入进行新视角合成的挑战，其中标准 NeRF 因监督不足而过拟合。
• 探究少样本 NeRF 训练失败的根本原因，特别是位置编码中高频分量的作用。
• 开发一种最小化、无依赖且无开销的基线方法，在低数据场景下超越复杂的最先进方法。
• 证明频率和遮挡正则化可在无计算成本下应用，同时提升泛化能力并减少如‘浮动物体’等伪影。

提出的方法

• 引入一种频率正则化项，在训练初期抑制位置编码中的高频分量，从而稳定优化过程并防止灾难性过拟合。
• 采用课程学习调度策略，将频率正则化在训练的一定比例时间内逐步关闭（例如总迭代次数的 90%），并根据数据集调整持续时间。
• 提出一种遮挡正则化项，通过惩罚靠近相机的密度值来减少因稀疏视角中深度估计错误导致的‘浮动物体’伪影。
• 通过简单的张量掩码实现正则化：在训练期间将特定的位置编码维度置零，仅需一行代码修改。
• 在位置编码嵌入上使用可学习掩码（例如 `pos_enc[int(t/T*L)+3:] = 0`），在训练过程中动态控制频率范围。
• 在不增加渲染或监督开销的前提下结合两种正则化方法，保持原始 NeRF 架构和训练流程，仅做最小化修改。

Figure 2 : Masking high-frequency inputs helps few-shot neural rendering. We investigate how NeRF performs with positional encodings under different masking ratios on the DTU dataset using 3 input views. Despite its over-smoothness, the plain NeRF succeeds in the few-shot setting when only low-frequ

实验结果

研究问题

• RQ1 标准 NeRF 在少样本设置下为何失败，位置编码的频率成分在这一失败中起到什么作用？
• RQ2 基于频率控制的简单轻量级正则化技术是否能在无外部监督的情况下提升 NeRF 在低数据场景下的性能？
• RQ3 近相机密度正则化如何影响稀疏视角 NeRF 训练中伪影（如‘浮动物体’）的减少？
• RQ4 与复杂的多阶段流水线相比，仅通过一行代码的最小修改能在多大程度上实现最先进性能？
• RQ5 频率正则化是否在 Blender、DTU 和 LLFF 等多样化数据集上具有泛化能力，其对 PSNR 与 LPIPS 之间的权衡有何影响？

主要发现

• FreeNeRF 在 DTU-3 和 LLFF-3 基准上达到最先进性能，PSNR 分别为 19.81 和 19.70，且无需额外监督或计算开销。
• 90% 的频率正则化调度在各数据集上均表现最佳，表明对频率抑制的课程学习可提升训练稳定性和泛化能力。
• 遮挡正则化在所有数据集上均一致提升性能，DTU-3 上 PSNR 从 17.40（无正则化）提升至 19.81（有正则化），并有效减少相机附近‘浮动物体’伪影。
• 该方法无依赖且无开销：无需预训练模型、深度监督或额外补丁渲染，适用于实际部署。
• 消融实验表明，仅调整近平面边界的影响微乎其微，而所提出的遮挡正则化能主动惩罚问题密度区域。
• 尽管 PSNR 较高，但过长的频率正则化持续时间可能降低 LPIPS 分数，表明保真度与感知质量之间存在权衡，可通过微调缓解。

Figure 3 : Illustration of occlusion regularization. We show 3 training views (solid rectangles) and 2 novel views (dashed rectangles) rendered by a frequency-regularized NeRF. The floaters in the novel views appear to be near-camera dense fields in the training views (dashed circles) so that we can