[论文解读] HDR-NeRF: High Dynamic Range Neural Radiance Fields

Xin Huang, Qi Zhang+4 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Vision and Imaging被引用 5

一句话总结

HDR-NeRF 提出了一种端到端方法，从具有不同曝光设置的多张低动态范围（LDR）图像中恢复高动态范围（HDR）神经辐射场。通过使用可微分色调映射器建模相机响应函数，并仅使用 LDR 监督联合优化辐射场与色调映射，该方法实现了新颖的 HDR 视图合成以及可控制的 LDR 视图渲染，支持任意曝光设置，在新的合成与真实世界 HDR 数据集上达到了最先进性能。

ABSTRACT

We present High Dynamic Range Neural Radiance Fields (HDR-NeRF) to recover an HDR radiance field from a set of low dynamic range (LDR) views with different exposures. Using the HDR-NeRF, we are able to generate both novel HDR views and novel LDR views under different exposures. The key to our method is to model the physical imaging process, which dictates that the radiance of a scene point transforms to a pixel value in the LDR image with two implicit functions: a radiance field and a tone mapper. The radiance field encodes the scene radiance (values vary from 0 to +infty), which outputs the density and radiance of a ray by giving corresponding ray origin and ray direction. The tone mapper models the mapping process that a ray hitting on the camera sensor becomes a pixel value. The color of the ray is predicted by feeding the radiance and the corresponding exposure time into the tone mapper. We use the classic volume rendering technique to project the output radiance, colors, and densities into HDR and LDR images, while only the input LDR images are used as the supervision. We collect a new forward-facing HDR dataset to evaluate the proposed method. Experimental results on synthetic and real-world scenes validate that our method can not only accurately control the exposures of synthesized views but also render views with a high dynamic range.

研究动机与目标

• 解决现有 NeRF 方法仅生成低动态范围（LDR）新颖视图的局限性，尽管真实世界场景具有更高的动态范围。
• 在无需真实 HDR 图像监督的前提下，实现从多张不同曝光的 LDR 图像中端到端学习高动态范围（HDR）辐射场。
• 将物理成像过程建模为可微分的色调映射函数，将场景辐射度映射为像素值，从而在合成视图中实现曝光控制。
• 收集并发布一个新的前向 HDR 数据集，包含合成与真实世界场景，用于 HDR 视图合成的基准测试。

提出的方法

• 该方法使用两个连续的隐式神经函数建模场景：一个输出密度和辐射度（无界，范围从 0 到 ∞）的辐射场，以及一个将辐射度和曝光时间映射为像素值的色调映射器。
• 色调映射器通过多层感知机（MLP）实现，学习相机响应函数（CRF），从而实现从场景辐射度到 LDR 像素值的可微分映射。
• 应用体素渲染沿射线积分辐射度与颜色，生成 HDR 和 LDR 图像，仅使用 LDR 真实值进行监督。
• 引入单位曝光损失（unit exposure loss）以正则化 RGB 通道上的 CRF 估计，防止色差并提升颜色一致性。
• 通过多曝光损失联合优化辐射场与色调映射器，实现从稀疏、不同曝光的 LDR 输入中准确重建 HDR。
• 该方法仅使用 LDR 图像端到端训练，无需 HDR 监督，同时支持推断具有任意曝光设置的新颖视图。

实验结果

研究问题

• RQ1 能否从多张不同曝光的 LDR 图像中端到端训练神经辐射场，实现无需真实 HDR 监督的高动态范围（HDR）新颖视图生成？
• RQ2 如何在 NeRF 框架中有效建模相机响应函数（CRF）作为可微分组件，以实现在新颖 LDR 视图中的可控制曝光？
• RQ3 在自监督设置下，输入曝光数量对重建 HDR 和 LDR 视图质量有何影响？
• RQ4 联合优化的辐射场与色调映射器能否在仅使用 LDR 监督的情况下，生成在感知与定量上均接近真实 HDR 图像的 HDR 结果？
• RQ5 在具有复杂色彩响应的真实世界场景中，对每个 RGB 通道独立建模 CRF 对性能有何影响？

主要发现

• 在使用 3 个或更多曝光时，HDR-NeRF 在合成场景中达到 PSNR 37.60、SSIM 0.963 和 LPIPS 0.021，与 NeRF-GT 性能非常接近。
• 仅使用 2 个曝光时性能显著下降（PSNR 降至 32.39），表明至少需要 3 个曝光才能实现高质量 HDR 重建。
• 引入单位曝光损失（L_u）显著提升了 HDR 视图质量，将 LPIPS 从 0.163 降低至 0.021，并消除了渲染图像中的色差。
• 该方法生成的色调映射 HDR 视图能够揭示过曝与欠曝区域的细节，其直方图分布与真实值高度匹配。
• 消融研究证实，对每个 RGB 通道独立建模 CRF 在真实世界场景中表现更优，优于共享 CRF 建模方法。
• 该方法估计的 CRF 与真实相机响应曲线高度吻合，验证了可微分色调映射器在建模物理成像过程方面的有效性。