[论文解读] Dual Illumination Estimation for Robust Exposure Correction

Qing Zhang, Yongwei Nie+1 more|arXiv (Cornell University)|Oct 30, 2019

Image Enhancement Techniques参考文献 39被引用 8

一句话总结

本文提出了一种双光照估计方法，用于实现鲁棒且全自动的曝光校正，能够处理欠曝、过曝以及混合曝光的图像。通过在输入图像和反转图像上分别估计光照，该方法生成两个中间校正结果——一个修复欠曝区域，另一个恢复过曝区域——然后通过多曝光融合将二者结合，最终生成全局曝光良好、视觉自然的图像，其视觉质量与用户偏好均优于当前最先进方法。

ABSTRACT

Exposure correction is one of the fundamental tasks in image processing and computational photography. While various methods have been proposed, they either fail to produce visually pleasing results, or only work well for limited types of image (e.g., underexposed images). In this paper, we present a novel automatic exposure correction method, which is able to robustly produce high-quality results for images of various exposure conditions (e.g., underexposed, overexposed, and partially under- and over-exposed). At the core of our approach is the proposed dual illumination estimation, where we separately cast the under- and over-exposure correction as trivial illumination estimation of the input image and the inverted input image. By performing dual illumination estimation, we obtain two intermediate exposure correction results for the input image, with one fixes the underexposed regions and the other one restores the overexposed regions. A multi-exposure image fusion technique is then employed to adaptively blend the visually best exposed parts in the two intermediate exposure correction images and the input image into a globally well-exposed image. Experiments on a number of challenging images demonstrate the effectiveness of the proposed approach and its superiority over the state-of-the-art methods and popular automatic exposure correction tools.

研究动机与目标

• 解决在包含欠曝、过曝及混合区域的复杂曝光条件下实现全自动曝光校正的挑战。
• 克服现有方法的局限性，即仅能处理欠曝或过曝校正，或产生不自然结果的问题。
• 开发一种完全自动、高效且鲁棒的曝光校正框架，其在视觉质量与用户偏好方面优于当前最先进方法及主流工具。
• 实现从多个来源（输入图像及两张校正图像）中无缝融合局部最优曝光区域，生成全局曝光良好的输出结果。

提出的方法

• 提出双光照估计：在输入图像上估计正向光照，在反转输入图像上估计反向光照，分别用于处理欠曝与过曝问题。
• 恢复两张中间曝光校正图像：一张通过正向光照校正欠曝区域，另一张通过在反转图像上应用反向光照来恢复过曝区域。
• 应用多曝光图像融合技术，将输入图像与两张中间结果相结合，从每个源中选取最佳曝光的局部区域。
• 采用自适应融合策略，基于曝光质量与局部对比度，混合三张图像中最富视觉吸引力的部分。
• 利用一个关键洞察：过曝校正可重新表述为在反转图像上进行欠曝校正，从而对两种曝光问题实现对称处理。
• 确保完全自动化与接近交互式运行时间（平均 0.8 秒），使其适用于实际应用场景。

实验结果

研究问题

• RQ1 能否通过反转输入图像并将过曝区域视为欠曝区域，有效扩展光照估计以校正过曝区域？
• RQ2 双光照估计如何提升在包含混合欠曝与过曝区域等多样化曝光条件下的曝光校正鲁棒性？
• RQ3 三源（输入图像与两张校正图像）的多曝光融合是否能产生优于单图像校正方法的全局曝光效果？
• RQ4 与基于深度学习的当前最先进方法及商业工具相比，所提方法在视觉质量与用户偏好方面表现如何？
• RQ5 该方法在保留自然色彩、对比度与精细细节的同时，对噪声放大或色彩伪影的抑制程度如何？

主要发现

• 在用户研究中，83% 的受试者更偏好本方法生成的结果而非原始输入图像，表明其具有显著的视觉优势。
• 与 HDRNet 相比，用户偏好率达 72%；与 DPE 相比为 78%；与 Exposure [HHX*18] 相比为 67%，表明在多个基线方法上均保持一致的用户偏好优势。
• 该方法在同时包含欠曝与过曝区域的复杂图像上仍能生成视觉上引人注目的结果，而以往方法常在此类图像上失效。
• 其表现优于商业工具如 Auto-Tone 与 Auto-Level，后者常产生不自然或次优结果。
• 该方法运行时间接近交互式（平均 0.8 秒），适用于实时应用。
• 局限性包括在极端欠曝或过曝面部区域难以恢复细节，以及在噪声输入中可能出现噪声放大现象，但此类情况较为罕见。