[论文解读] Learning to Predict Indoor Illumination from a Single Image

Marc-André Gardner, Kalyan Sunkavalli+5 more|arXiv (Cornell University)|Apr 1, 2017

Image Enhancement Techniques参考文献 24被引用 13

一句话总结

本文提出一种端到端的深度学习方法，仅凭单张低动态范围（LDR）照片即可预测高动态范围（HDR）室内光照，无需用户输入、场景几何信息或特殊采集设备。该方法首先在LDR全景图中检测光源，然后训练神经网络以预测光照位置和强度，在逼真3D物体插入任务中达到最先进性能。

ABSTRACT

We propose an automatic method to infer high dynamic range illumination from a single, limited field-of-view, low dynamic range photograph of an indoor scene. In contrast to previous work that relies on specialized image capture, user input, and/or simple scene models, we train an end-to-end deep neural network that directly regresses a limited field-of-view photo to HDR illumination, without strong assumptions on scene geometry, material properties, or lighting. We show that this can be accomplished in a three step process: 1) we train a robust lighting classifier to automatically annotate the location of light sources in a large dataset of LDR environment maps, 2) we use these annotations to train a deep neural network that predicts the location of lights in a scene from a single limited field-of-view photo, and 3) we fine-tune this network using a small dataset of HDR environment maps to predict light intensities. This allows us to automatically recover high-quality HDR illumination estimates that significantly outperform previous state-of-the-art methods. Consequently, using our illumination estimates for applications like 3D object insertion, we can achieve results that are photo-realistic, which is validated via a perceptual user study.

研究动机与目标

• 解决从单张有限视场、低动态范围（LDR）室内场景照片中准确估计HDR光照的挑战。
• 克服先前方法依赖用户输入、深度传感器或简化光照模型（如球谐函数）的局限性。
• 开发一种鲁棒的、端到端的基于学习的方法，无需对场景几何或材质属性做强假设，即可在多样化室内光照条件下泛化。
• 通过准确恢复真实世界图像中的光源位置与强度，实现高保真度的3D物体插入与光照重演。

提出的方法

• 在大规模LDR环境图数据集上训练一个光照分类器，以自动检测并标注光源位置。
• 训练一个深度神经网络，从单张LDR裁剪图像（有限视场图像）回归预测光源位置，使用已标注的LDR全景图作为监督信号。
• 提出一种新颖的全景图扭曲操作，以对齐来自同一球面全景图的不同裁剪视图之间的光照条件。
• 利用新收集的2,100张HDR环境图数据集对网络进行微调，以预测准确的光源强度，实现完整的HDR光照估计。
• 最终模型实现从图像外观到完整HDR环境图的端到端回归，跳过逆向渲染和几何重建步骤。
• 推理阶段应用全局强度缩放，以进一步提升感知质量，尤其改善光照强度的准确性。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖场景几何或用户标注的前提下，直接从单张LDR照片预测HDR光照？
• RQ2 当在大规模弱监督数据集上进行训练时，模型在LDR全景图中检测光源位置的准确度如何？
• RQ3 与仅使用LDR数据相比，在较小的HDR数据集上进行微调在多大程度上提升了光源强度预测的性能？
• RQ4 通过感知研究验证，预测的光照能否在3D物体插入任务中产生逼真的结果？
• RQ5 当处理画面外的光源、复杂几何结构或强局部光照变化时，该方法的主要失效模式是什么？

主要发现

• 该方法在定量指标和感知质量方面均显著优于先前的SOTA方法，在LDR网络上的误差率降低至27.32%，并在使用HDR数据微调后进一步提升。
• 感知用户研究证实，使用预测光照重演的虚拟物体与使用真实HDR光照重演的物体几乎无法区分。
• 网络在光源定位任务中表现优异，甚至能检测到输入照片中不可见的光源，展现出强大的泛化能力。
• 该方法对场景几何和表面反射率的误差具有鲁棒性，因为它无需显式估计这些属性。
• 主要失败案例集中在光源的空间范围和方向预测错误，尤其是对大尺寸或高亮光源，且受网络内滤波操作影响而加剧。
• 由于定位任务的训练数据量远大于强度预测的微调阶段，模型在预测光源位置方面比预测强度更准确。