[论文解读] Deep Outdoor Illumination Estimation

Yannick Hold-Geoffroy, Kalyan Sunkavalli+3 more|arXiv (Cornell University)|Nov 19, 2016

Advanced Vision and Imaging参考文献 33被引用 13

一句话总结

本文提出一种基于深度卷积神经网络（CNN）的方法，仅从单张低动态范围（LDR）图像中估计高动态范围（HDR）户外光照。通过利用大规模户外全景图数据库，并拟合基于物理的Hošek-Wilkie天空模型以提取HDR光照参数，网络学习预测太阳位置、大气浊度和相机校准参数，从而实现最先进的精度，支持逼真的虚拟物体插入。

ABSTRACT

We present a CNN-based technique to estimate high-dynamic range outdoor illumination from a single low dynamic range image. To train the CNN, we leverage a large dataset of outdoor panoramas. We fit a low-dimensional physically-based outdoor illumination model to the skies in these panoramas giving us a compact set of parameters (including sun position, atmospheric conditions, and camera parameters). We extract limited field-of-view images from the panoramas, and train a CNN with this large set of input image--output lighting parameter pairs. Given a test image, this network can be used to infer illumination parameters that can, in turn, be used to reconstruct an outdoor illumination environment map. We demonstrate that our approach allows the recovery of plausible illumination conditions and enables photorealistic virtual object insertion from a single image. An extensive evaluation on both the panorama dataset and captured HDR environment maps shows that our technique significantly outperforms previous solutions to this problem.

研究动机与目标

• 解决从单张LDR图像估计完整HDR户外光照的挑战，该问题因场景几何、材质和光照效应的混淆而呈病态。
• 通过从大规模全景图数据库中合成HDR参数，克服缺乏成对LDR图像与真实HDR光照的大规模数据集的局限。
• 开发一种方法，可在不依赖几何或材质强先验知识的前提下，泛化于多样化的户外场景。
• 实现从单张输入图像端到端预测完整HDR环境图，以用于基于图像的光照和3D物体重光照。

提出的方法

• 使用SUN360数据库中的360°户外全景图作为训练数据源，从中提取有限视场角（FOV）图像以模拟输入的LDR图像。
• 在每个全景图的可见天空区域上拟合基于物理的Hošek-Wilkie天空模型，以提取紧凑且具有物理意义的HDR光照参数：太阳位置、大气浊度和相机校准（几何与辐射）。
• 训练深度卷积神经网络（CNN），从输入LDR图像回归至提取的HDR光照参数，使用配对的图像-参数数据。
• 在推理阶段，从预测的参数重建HDR天空环境图，以实现3D物体的逼真重光照。
• 利用天空模型的物理合理性，确保即使在全景图的饱和区域，预测的光照条件也保持一致且准确。
• 将训练好的CNN应用于真实世界的LDR图像，并将重光照结果与现场拍摄的真实HDR全景图进行对比。

实验结果

研究问题

• RQ1 能否有效训练深度CNN，从单张LDR图像中预测完整的HDR户外光照，而无需显式依赖场景几何或材质先验？
• RQ2 能否利用基于物理的天空模型（Hošek-Wilkie）从低动态范围全景图中合成准确的HDR光照参数，以支持有效的CNN训练？
• RQ3 在3D物体逼真重光照方面，预测的光照与真实HDR全景图相比表现如何？
• RQ4 该方法的失效模式是什么，特别是在具有复杂几何结构、光照线索缺失或镜面反射的场景中？

主要发现

• 所提方法在SUN360全景图数据集和实测HDR全景图上均显著优于先前方法，在从单张LDR图像估计HDR户外光照方面表现优异。
• CNN预测的光照条件可实现3D模型（如兔子）的逼真重光照，且仅需极少后处理，如图11所示，渲染物体与真实重光照结果高度一致。
• 在85%的测试案例中，太阳位置估计准确，但当光照线索被复杂几何结构、阴影或镜面表面遮挡时会出现失败。
• 曝光参数ω平均略微高估，导致渲染结果略亮于真实值，但整体视觉质量仍保持较高水平。
• Hošek-Wilkie模型在晴朗天空条件下提供高精度，但在阴天场景中会低估浊度，导致预测结果偏向更晴朗的天空。
• 该方法可生成完整的HDR天空半球环境图，支持逼真的漫反射光照，但未捕捉镜面反射，可能需要额外后处理。