[论文解读] Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields

Ziteng Cui, Lin Gu+4 more|arXiv (Cornell University)|Mar 10, 2023

Advanced Vision and Imaging被引用 5

一句话总结

Aleth-NeRF 提出了一种基于 NeRF 的无监督方法，用于在低光照条件下进行视图合成，通过引入‘遮蔽场’（Concealing Fields）——作为场景与观察者之间光衰减的代理模型。该方法仅在黑暗的多视角 sRGB 图像上进行训练，并在推理时移除遮蔽场，从而在 3D 多视角一致性与图像质量方面优于 2D 增强方法，在新收集的 LOM 数据集上，SSIM、PSNR 和 LPIPS 指标均优于基线模型。

ABSTRACT

Common capture low-light scenes are challenging for most computer vision techniques, including Neural Radiance Fields (NeRF). Vanilla NeRF is viewer-centred simplifies the rendering process only as light emission from 3D locations in the viewing direction, thus failing to model the low-illumination induced darkness. Inspired by the emission theory of ancient Greeks that visual perception is accomplished by rays casting from eyes, we make slight modifications on vanilla NeRF to train on multiple views of low-light scenes, we can thus render out the well-lit scene in an unsupervised manner. We introduce a surrogate concept, Concealing Fields, that reduces the transport of light during the volume rendering stage. Specifically, our proposed method, Aleth-NeRF, directly learns from the dark image to understand volumetric object representation and concealing field under priors. By simply eliminating Concealing Fields, we can render a single or multi-view well-lit image(s) and gain superior performance over other 2D low-light enhancement methods. Additionally, we collect the first paired LOw-light and normal-light Multi-view (LOM) datasets for future research. This version is invalid, please refer to our new AAAI version: arXiv:2312.09093

研究动机与目标

• 为解决在光照不足导致多视角一致性差的低光照场景中，原始 NeRF 因照明不足而失效的问题。
• 克服 2D 低光照增强方法在 NeRF 训练前应用时破坏 3D 几何一致性的局限性。
• 提出一种 NeRF 变体，仅从黑暗图像中无监督地联合学习体积化场景表示与遮蔽效应。
• 收集并发布首个配对的低光照与正常光照多视角数据集（LOM），以支持未来低光照 3D 场景理解的研究。

提出的方法

• 引入‘遮蔽场’作为视图方向光衰减的代理，扩展 NeRF 中的透射函数以建模低光照条件。
• 修改原始 NeRF，仅使用低光照多视角 sRGB 图像进行训练，联合优化辐射场与遮蔽场。
• 通过在推理时简单移除遮蔽场，实现无需监督的增强，从而渲染出光照充足的场景。
• 采用可微分的体素渲染过程，将遮蔽场作为射线积分步骤中的乘法衰减因子引入。
• 借鉴古希腊发射理论的哲学类比——视觉源于眼睛发出的射线——将问题重新定义为‘解除隐藏结构’。
• 使用标准 NeRF 损失在黑暗图像上端到端训练模型，无需真实正常光照监督。

Figure 1: We assume objects are naturally visible. However, the Concealing Field attenuates the light in the viewing direction, making the left user see a low-light scene. Aleth-NeRF takes a low-light image as input and unsupervisly learns the distribution of the Concealing Field. Then, we unconceal

实验结果

研究问题

• RQ1 仅使用低光照图像能否有效训练 NeRF，以在无任何正常光照监督的情况下合成光照充足的新型视图？
• RQ2 与在 NeRF 输出后使用 2D 增强方法后处理相比，通过遮蔽场建模光衰减在多视角一致性方面有何提升？
• RQ3 当集成到基于 NeRF 的视图合成中时，所提方法在多大程度上优于当前最先进的 2D 低光照增强技术？
• RQ4 基于物理启发的遮蔽场概念是否能带来在低照度条件下更鲁棒、更具泛化能力的 3D 场景重建？
• RQ5 仅使用黑暗图像训练的单一、场景特定的 NeRF 模型，是否优于涉及 2D 增强与 NeRF 微调的多阶段流水线？

主要发现

• Aleth-NeRF 在 LOM 数据集上所有指标（SSIM、PSNR、LPIPS）的平均性能最佳，优于 'NeRF + 2D 增强' 和 '2D 增强 + NeRF' 基线方法。
• 'NeRF + 2D 增强' 流水线性能劣于 '2D 增强 + NeRF'，表明低质量的 NeRF 输出会降低 2D 增强的效果。
• '2D 增强 + NeRF' 流水线因各视角间 2D 增强不一致，导致新型视图生成中出现伪影与不一致现象。
• Aleth-NeRF 通过可视化与 LOM 数据集上 'sofa'、'bike' 和 'shrub' 场景的定量指标，保持了高多视角一致性与图像质量。
• 该方法在 LOM 数据集上达到最先进性能，证明了从黑暗图像中端到端无监督学习在 3D 视图合成中的有效性。
• LOM 数据集包含 5 个真实世界场景，共 25–65 对低光照与正常光照视图，可支持多视角低光照增强的可靠评估。

Figure 2: (a). NeRF rendering results in normal-light scene and low-light scene. (b). NeRF rendering on enhanced scene by 2D image enhancement methods LIME [ 12 ] and IAT [ 5 ] . (c) Aleth-NeRF rendering results in low-light scene.