[论文解读] Casual Indoor HDR Radiance Capture from Omnidirectional Images

Pulkit Gera, Mohammad Reza Karimi Dastjerdi+3 more|arXiv (Cornell University)|Aug 16, 2022

Image Enhancement Techniques被引用 5

一句话总结

PanoHDR-NeRF 提出了一种简便的单摄像头方法，仅通过自由捕捉的 LDR 全景视频即可捕获室内场景的完整高动态范围（HDR）辐射场。通过结合 LDR2HDR 网络与定制的 NeRF++ 模型，该方法实现了从场景任意位置出发的精确、视角相关的 HDR 渲染，经由虚拟物体的真实光照验证，并在多种室内环境中展现出稳健性能。

ABSTRACT

We present PanoHDR-NeRF, a neural representation of the full HDR radiance field of an indoor scene, and a pipeline to capture it casually, without elaborate setups or complex capture protocols. First, a user captures a low dynamic range (LDR) omnidirectional video of the scene by freely waving an off-the-shelf camera around the scene. Then, an LDR2HDR network uplifts the captured LDR frames to HDR, which are used to train a tailored NeRF++ model. The resulting PanoHDR-NeRF can render full HDR images from any location of the scene. Through experiments on a novel test dataset of real scenes with the ground truth HDR radiance captured at locations not seen during training, we show that PanoHDR-NeRF predicts plausible HDR radiance from any scene point. We also show that the predicted radiance can synthesize correct lighting effects, enabling the augmentation of indoor scenes with synthetic objects that are lit correctly. Datasets and code are available at https://lvsn.github.io/PanoHDR-NeRF/.

研究动机与目标

• 实现无需专业设备或复杂捕获协议的实用、高质量室内场景 HDR 辐射场捕获。
• 解决现有基于 NeRF 的方法在使用 LDR 输入训练时无法真实建模 HDR 光照的问题。
• 学习一种空间变化的 HDR 辐射场神经表征，使其在场景中未观测到的视角上也能泛化。
• 证明仅通过手持方式自由捕获 360° LDR 视频即可合成合理、物理上合理的 HDR 光照，用于场景重光照。
• 在真实世界场景中通过未训练位置的地面真值 HDR 光探针验证该方法，证明其泛化能力与准确性。

提出的方法

• 该方法首先由用户使用标准 360° 摄像头自由捕获室内场景的 LDR 全景视频。
• 对每一帧应用 LDR2HDR 神经网络，从单个 LDR 全景图中预测高动态范围（HDR）辐射值。
• 将预测的 HDR 帧用于训练一种改进的 NeRF++ 模型，该模型学习在场景中任意 3D 光线路径上渲染 HDR 辐射场。
• NeRF++ 模型采用对数空间损失进行训练，以稳定训练过程并提升对 HDR 中极端强度值的预测能力。
• 该流程通过依赖 LDR2HDR 网络从每个视角的单次曝光中推断 HDR 内容，避免了复杂的校准或多曝光捕获。
• 最终的 PanoHDR-NeRF 模型可实现从场景中任意位置（包括未观测视角）生成完整的 HDR 辐射场新视角合成。

实验结果

研究问题

• RQ1 能否仅通过自由捕获的 LDR 全景视频训练神经辐射场，以表示室内场景中的完整 HDR 辐射场？
• RQ2 应用于单帧全景图的 LDR2HDR 网络是否能实现足够精确的 HDR 重建，以支持 NeRF 训练？
• RQ3 在预测 HDR 输出上训练的 NeRF++ 模型能否在捕获期间未见的新型视角上泛化，即使存在空间变化的光照？
• RQ4 损失空间选择（线性空间 vs. 对数空间）如何影响预测 HDR 辐射场的质量与稳定性？
• RQ5 所生成的 PanoHDR-NeRF 模型能否为增强现实应用中的虚拟物体重光照生成物理上合理的光照？

主要发现

• PanoHDR-NeRF 在训练期间未见的新型视角上成功泛化，可在具有复杂光照变化的真实室内场景中生成合理的 HDR 辐射场。
• 该方法通过合成的 HDR 光探针实现了虚拟物体的精确重光照，证明其在增强现实与场景增强中的实用性。
• 在对数空间中训练显著提升了视觉质量，相比线性空间训练，有效减少了模糊与浮动伪影。
• 操作顺序至关重要：在 HDR 输出上训练 NeRF（PanoHDR-NeRF）相比在 NeRF 后应用 LDR2HDR（NeRF-LDR2HDR）能获得更稳定的时序表现。
• 尽管每个视角仅使用一次 LDR 捕获，该方法在感知质量与光照准确性方面仍可与多曝光 HDR 捕获相媲美。
• 该方法在多种室内场景中表现出鲁棒性，包括具有强方向性光照（如靠近窗户）和复杂反射的场景。