[论文解读] InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering

Mijeong Kim, Seonguk Seo+1 more|arXiv (Cornell University)|Dec 31, 2021

Advanced Vision and Imaging被引用 9

一句话总结

InfoNeRF 通过最小化射线熵并减少略微不同视角之间的信息增益，提出了一种基于信息论的正则化方法，用于少样本神经体积渲染。这种双重正则化方法提升了重建的一致性并防止了过拟合，在仅使用 4–8 张输入图像的情况下，即使在缺乏场景先验知识的远基线条件下，也能在标准基准上实现最先进性能。

ABSTRACT

We present an information-theoretic regularization technique for few-shot novel view synthesis based on neural implicit representation. The proposed approach minimizes potential reconstruction inconsistency that happens due to insufficient viewpoints by imposing the entropy constraint of the density in each ray. In addition, to alleviate the potential degenerate issue when all training images are acquired from almost redundant viewpoints, we further incorporate the spatially smoothness constraint into the estimated images by restricting information gains from a pair of rays with slightly different viewpoints. The main idea of our algorithm is to make reconstructed scenes compact along individual rays and consistent across rays in the neighborhood. The proposed regularizers can be plugged into most of existing neural volume rendering techniques based on NeRF in a straightforward way. Despite its simplicity, we achieve consistently improved performance compared to existing neural view synthesis methods by large margins on multiple standard benchmarks.

研究动机与目标

• 解决少样本新视角合成中的重建不一致性问题，该问题会导致渲染图像出现噪声、模糊或伪影。
• 克服在视图有限的训练场景中，对冗余或相似视角的过拟合问题。
• 开发一种通用的、无需超参数的正则化技术，可直接应用于现有 NeRF 基础方法，无需额外的数据结构（如体素或网格）。
• 在无需场景先验知识或外部监督的情况下，实现在远基线数据集上的高质量新视角合成。
• 在多样化基准上实现一致的性能提升，尤其在低样本和高基线设置下表现优异。

提出的方法

• 最小化每条射线上密度值的熵，以促进稀疏性并减少在约束不足区域的重建不确定性。
• 引入基于 KL 散度的损失函数，以减少从轻微扰动视角获取的射线之间的信息增益，从而在重建体积中强制实现空间平滑性。
• 将两种正则化器作为可微的轻量级模块集成到标准 NeRF 训练流程中，无需引入额外可学习参数。
• 将正则化器集成到现有的 NeRF 和 PixelNeRF 框架中，以验证其在不同架构上的泛化能力。
• 将总损失定义为 NeRF 原始体渲染损失与两项信息论正则化器的加权和。
• 通过视角扰动估计信息增益，并在相邻视角之间强制实现平滑性，从而缓解退化解的问题。

(a) Rendered RGB and depth images estimated by NeRF [ 21 ] on the Realistic Synthetic 360 ∘ dataset in a 4-view setting.

实验结果

研究问题

• RQ1 射线熵最小化是否能提升少样本新视角合成中的重建质量并减少伪影？
• RQ2 减少相邻视角间的信息增益是否能防止过拟合并提升在远基线数据集上的泛化能力？
• RQ3 该正则化方法在训练视图有限且分布不均的场景下效果如何？
• RQ4 该方法是否可通用地应用于现有 NeRF 基础架构，而无需修改网络结构？
• RQ5 在标准基准上，该方法在 PSNR、SSIM 和 LPIPS 指标上相比先前方法的性能提升程度如何？

主要发现

• 在 DTU 数据集的三视角设置下，InfoNeRF 实现了 11.23 的 PSNR，显著优于标准 NeRF（8.50）及其他消融变体。
• 在 Realistic Synthetic 360° 数据集上，InfoNeRF 在 4–8 张视图下均保持一致的性能提升，相比基线 NeRF 的 PSNR 提升超过 2 dB。
• 仅使用熵最小化损失可使 PSNR 提升 2.04 dB（从 8.50 提升至 10.54），但因过拟合导致 SSIM 下降，该问题由信息增益减少损失有效纠正。
• 完整版 InfoNeRF 模型在 DTU 数据集上实现了最佳 SSIM（0.445）和 LPIPS（0.543），表明其在结构一致性和感知质量方面均有显著提升。
• 当集成到 PixelNeRF 中时，InfoPixelNeRF 显著减少了模糊并提升了清晰度，如在 Drums 场景的定性对比中所见。
• 消融研究证实，两种正则化器均不可或缺：熵最小化降低了不确定性，而信息增益减少则防止了在高相似性视角设置下的过拟合。

(b) Rendered RGB images for two slightly different viewpoints (left: seen, right: unseen) estimated by NeRF [ 21 ] on the DTU dataset in a 3-view setting.