[论文解读] Learning High Dynamic Range from Outdoor Panoramas

Jinsong Zhang, Jean‐François Lalonde|arXiv (Cornell University)|Mar 29, 2017

Image Enhancement Techniques参考文献 33被引用 10

一句话总结

本文提出一种基于深度学习的方法，通过单张低动态范围（LDR）全向全景图恢复高动态范围（HDR）户外光照，采用在合成数据上训练的卷积自编码器实现。该方法在极端动态范围变化下仍能实现精确的HDR重建，已在合成数据和真实世界数据上得到验证，并可应用于单次拍摄光照探针和HDR增强图像匹配等实际场景。

ABSTRACT

Outdoor lighting has extremely high dynamic range. This makes the process of capturing outdoor environment maps notoriously challenging since special equipment must be used. In this work, we propose an alternative approach. We first capture lighting with a regular, LDR omnidirectional camera, and aim to recover the HDR after the fact via a novel, learning-based inverse tonemapping method. We propose a deep autoencoder framework which regresses linear, high dynamic range data from non-linear, saturated, low dynamic range panoramas. We validate our method through a wide set of experiments on synthetic data, as well as on a novel dataset of real photographs with ground truth. Our approach finds applications in a variety of settings, ranging from outdoor light capture to image matching.

研究动机与目标

• 解决仅使用单张LDR全向全景图捕捉具有极端动态范围的户外光照的挑战。
• 开发一种数据驱动的逆色调映射方法，从饱和的LDR像素回归出合理的HDR值。
• 构建大规模的合成数据集，包含使用真实HDR天空探测器照明的真实户外场景，用于模型训练。
• 在包含真实HDR全景图的新型真实世界数据集上验证该方法。
• 展示实际应用，如单次拍摄光照探针、街景中的HDR可视化，以及在大型LDR数据库中的图像匹配。

提出的方法

• 训练一个深度卷积自编码器，从非线性、饱和的LDR全景图回归线性HDR值。
• 通过使用真实世界的HDR天空环境图照亮逼真的3D城市模型，生成合成训练数据。
• 在新型真实世界数据集（LDR全景图与真实HDR配对）上对网络进行微调。
• 应用领域自适应技术，以处理SUN360等数据集中相机响应函数和后期处理的差异。
• 网络采用全卷积架构并共享权重，支持对完整360°全景图进行推理。
• 利用潜在空间表示（FC-64层）支持下游任务，如太阳检测和光照参数估计。

实验结果

研究问题

• RQ1 尽管存在极端动态范围，深度学习模型能否有效从单张LDR全景图中恢复HDR光照？
• RQ2 在合成数据上训练的模型在具有不同相机响应函数的真实世界LDR全景图上泛化能力如何？
• RQ3 所学习的表征在支持图像基光照和图像匹配等实际应用方面能达到何种程度？
• RQ4 该模型能否在无真实标签监督的情况下，适应如Google街景和SUN360等多样化的真实世界数据集？
• RQ5 该方法在处理非中心太阳或高分辨率输入图像方面存在哪些局限性？

主要发现

• 所提出的方法在从单张LDR全景图进行HDR重建方面达到当前最优性能，在合成数据和真实数据上均优于传统逆色调映射算子。
• 在真实LDR全景图上对网络进行微调可显著提升重建质量，尤其在处理饱和度和色彩一致性方面。
• 经领域自适应的网络版本可有效从SUN360数据集外推HDR结果，支持基于太阳强度和仰角的图像匹配等应用。
• 该方法成功实现了使用消费级360°相机（如Ricoh Theta S）进行单次拍摄光照探针捕获，生成合理的虚拟物体插入效果。
• 网络可从预测的HDR全景图中提取直观的光照参数（如太阳强度和仰角），实现对大型LDR全景图数据库的高效浏览。
• 尽管表现优异，该方法对输入的色调映射函数较为敏感，且仅限于太阳可见且位于画面中心的户外场景。