[论文解读] All-Weather Deep Outdoor Lighting Estimation

Jinsong Zhang, Kalyan Sunkavalli+4 more|arXiv (Cornell University)|Jun 12, 2019

Image Enhancement Techniques参考文献 21被引用 10

一句话总结

本文提出了一种深度学习框架，用于在各种天气条件下从单张LDR图像估计HDR户外光照。它引入了PanoNet，一种卷积神经网络，通过一种新颖的渲染损失从LDR全景图回归Lalonde-Matthews天空模型的参数，从而实现精确的天空外观和物体渲染；以及CropNet，另一套在PanoNet标注数据上训练的网络，在单图像光照估计任务中达到SOTA性能，无论在晴天还是阴天条件下均优于先前方法。

ABSTRACT

We present a neural network that predicts HDR outdoor illumination from a single LDR image. At the heart of our work is a method to accurately learn HDR lighting from LDR panoramas under any weather condition. We achieve this by training another CNN (on a combination of synthetic and real images) to take as input an LDR panorama, and regress the parameters of the Lalonde-Matthews outdoor illumination model. This model is trained such that it a) reconstructs the appearance of the sky, and b) renders the appearance of objects lit by this illumination. We use this network to label a large-scale dataset of LDR panoramas with lighting parameters and use them to train our single image outdoor lighting estimation network. We demonstrate, via extensive experiments, that both our panorama and single image networks outperform the state of the art, and unlike prior work, are able to handle weather conditions ranging from fully sunny to overcast skies.

研究动机与目标

• 解决从单张LDR图像估计HDR户外光照的病态问题，该问题因天气条件变化及先前参数化模型的局限性而变得复杂。
• 通过开发能准确表示阴天和混合天气条件的模型，克服现有方法对晴天的偏差。
• 通过结合合成数据与真实数据，训练一个能够在多种光照条件下泛化的鲁棒网络。
• 引入一种新颖的基于渲染的损失函数，通过匹配预测光照与真实光照下渲染的场景外观，提升泛化能力。
• 通过生成可解释的、参数化的光照估计，实现图像编辑和增强现实等实际应用。

提出的方法

• 提出一种两阶段深度学习流程：首先，PanoNet利用合成与真实图像混合的数据集，从LDR全景图中估计HDR光照参数。
• PanoNet通过一种新颖的渲染损失进行训练，该损失最小化在预测光照与真实光照下渲染场景的差异，从而在仅匹配天空外观之外进一步提升真实感。
• 选用Lalonde-Matthews天空模型作为基础参数化表示，因其能够建模从阴天到晴天的广泛天气条件。
• 利用PanoNet自动为大规模LDR全景图数据集标注HDR光照参数，从而支持第二阶段网络的训练。
• CropNet被训练以从单张、有限视场的图像裁剪中回归光照参数，从而实现在标准照片上的推理。
• 该方法同时利用天空外观和物体渲染保真度作为监督信号，减少对天空颜色的过拟合，提升鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否在包括阴天和多云天气在内的所有天气条件下，准确估计单张LDR图像的HDR户外光照？
• RQ2 与仅基于天空外观的监督相比，一种通过匹配预测光照下场景外观的基于渲染的损失函数是否能提升泛化能力？
• RQ3 像Lalonde-Matthews这样支持多种天气条件的参数化天空模型，是否能在真实世界光照估计任务中优于表达能力较弱的模型（如Hošek-Wilkie）？
• RQ4 合成数据与真实数据的结合在提升未见天气条件下光照估计鲁棒性方面有多大的作用？
• RQ5 该方法在来自同一张全景图的不同视角和局部图像裁剪上的泛化能力如何？

主要发现

• PanoNet在为LDR全景图标注HDR光照参数方面显著优于先前方法，尤其在阴天和部分多云条件下表现突出。
• CropNet在单图像光照估计任务中达到SOTA性能，其RMSE与si-RMSE低于[9]，尤其在非晴天条件下表现更优。
• 渲染损失可实现更真实的阴影渲染，并提升物体光照的一致性，减少合成场景中的伪影。
• 该方法在来自同一张全景图的不同视角间泛化良好，CropNet能自然适应局部光照变化。
• 尽管有所改进，模型在软阴影处理方面仍存在困难，且倾向于高估灰蒙蒙的天空，表明训练数据存在偏差。
• 定性结果表明，无论在晴天还是阴天条件下，光照估计均保持一致且逼真，如图1、9和10所示。