[论文解读] Learning to Correct Overexposed and Underexposed Photos

Mahmoud Afifi, Konstantinos G. Derpanis+2 more|arXiv (Cornell University)|Mar 25, 2020

Image Enhancement Techniques参考文献 43被引用 8

一句话总结

本文提出一种从粗到精的深度神经网络（DNN），用于联合色彩与细节增强，以校正过曝和欠曝的照片。该方法在包含24,000张曝光失真图像的新数据集上进行端到端训练，在欠曝图像上达到最先进性能，并在过曝图像上实现显著改进。

ABSTRACT

Capturing photographs with wrong exposures remains a major source of errors in camera-based imaging. Exposure problems are categorized as either: (i) overexposed, where the camera exposure was too long, resulting in bright and washed-out image regions, or (ii) underexposed, where the exposure was too short, resulting in dark regions. Both under- and overexposure greatly reduce the contrast and visual appeal of an image. Prior work mainly focuses on underexposed images or general image enhancement. In contrast, our proposed method targets both over- and underexposure errors in photographs. We formulate the exposure correction problem as two main sub-problems: (i) color enhancement and (ii) detail enhancement. Accordingly, we propose a coarse-to-fine deep neural network (DNN) model, trainable in an end-to-end manner, that addresses each sub-problem separately. A key aspect of our solution is a new dataset of over 24,000 images exhibiting a range of exposure values with a corresponding properly exposed image. Our method achieves results on par with existing state-of-the-art methods on underexposed images and yields significant improvements for images suffering from overexposure errors.

研究动机与目标

• 解决相机成像中曝光错误这一长期存在的挑战，该问题会降低图像对比度和视觉质量。
• 克服先前方法主要关注欠曝图像或通用增强的局限性，通过专门针对过曝和欠曝问题进行改进。
• 开发一种统一的深度学习框架，支持端到端训练，实现色彩与细节增强的同步优化。
• 创建并发布一个大规模数据集，包含24,000对图像（曝光失真版本及其对应的正确曝光参考版本），以支持训练与评估。

提出的方法

• 将曝光校正问题分解为两个独立子问题：色彩增强与细节增强，并通过从粗到精的DNN架构进行处理。
• 设计一种端到端训练的深度神经网络，联合优化曝光失真图像中的色彩校正与细节恢复。
• 利用一个包含超过24,000对图像的新数据集，每对图像包含一个曝光失真版本及其对应的正确曝光参考版本。
• 采用多阶段细化过程，其中粗略预测被逐步优化，以恢复色彩保真度与精细图像细节。
• 使用结合感知损失与重建损失的损失函数进行模型训练，以保持自然外观与结构完整性。

实验结果

研究问题

• RQ1 深度学习模型是否能通过统一框架有效校正过曝与欠曝图像？
• RQ2 联合优化色彩与细节增强与分别处理相比，能否显著提升性能？
• RQ3 大规模且多样化的曝光失真与正确曝光图像对数据集在多大程度上提升模型泛化能力？
• RQ4 所提出的从粗到精架构是否在过曝与欠曝图像校正方面均优于现有最先进方法？

主要发现

• 所提方法在欠曝图像上的表现与最先进方法相当，验证了其在该类问题上的有效性。
• 该方法在过曝图像上的表现显著优于现有方法，而此前的方法在该领域通常表现不佳。
• 使用包含24,000对图像的大规模数据集，使模型能够泛化到各种曝光条件与图像内容。
• 从粗到精DNN架构的端到端训练，实现了更优的特征学习，从而更准确地恢复色彩与精细细节。