[论文解读] Learning-Based Dequantization For Image Restoration Against Extremely Poor Illumination

Chang Liu, Xiaolin Wu+1 more|arXiv (Cornell University)|Mar 5, 2018

Image Enhancement Techniques参考文献 3被引用 10

一句话总结

本文提出了一种基于学习的去量化方法，用于恢复因极端低光照条件导致的图像退化，其中A/D量化损失已抹去精细细节。通过将算法照明补偿与在合成数据上训练的深度卷积神经网络（DCNN）相结合，该方法恢复了传统方法无法恢复的像素级细节，在合成和真实世界低光照图像中显著优于最先进技术。

ABSTRACT

All existing image enhancement methods, such as HDR tone mapping, cannot recover A/D quantization losses due to insufficient or excessive lighting, (underflow and overflow problems). The loss of image details due to A/D quantization is complete and it cannot be recovered by traditional image processing methods, but the modern data-driven machine learning approach offers a much needed cure to the problem. In this work we propose a novel approach to restore and enhance images acquired in low and uneven lighting. First, the ill illumination is algorithmically compensated by emulating the effects of artificial supplementary lighting. Then a DCNN trained using only synthetic data recovers the missing detail caused by quantization.

研究动机与目标

• 解决在极端低光照条件下，由于A/D量化导致图像细节不可逆丢失的关键问题，此时传统图像增强方法失效。
• 开发一种数据驱动方法，能够恢复在低动态范围信号中A/D转换过程中被擦除的细粒度像素级细节。
• 在光照不良或不均匀的场景中实现有效的图像恢复，此时自动曝光和色调映射不足以应对。
• 利用广泛可用的JPEG图像构建可扩展的训练流水线，生成用于监督深度学习的真实感低光照合成数据。

提出的方法

• 该方法首先使用物理图像形成模型应用算法照明补偿，以模拟人工照明并扩展动态范围。
• 通过受控的A/D量化对高动态范围的潜在图像进行降级，生成合成低光照训练数据，以模拟真实世界中的低光照伪影。
• 训练深度卷积神经网络（DCNN）以对压缩信号进行去量化，从量化后的低光照图像中恢复丢失的像素级细节。
• 训练数据生成过程设计为接受标准JPEG图像作为输入，从而能够访问大量多样化的现实世界图像数据。
• DCNN通过最小化去量化输出与真实潜在图像之间的重建损失，学习预测高分辨率、细节丰富的输出。
• 该方法通过端到端深度学习整合局部照明补偿与非线性去量化，最终输出为视觉上增强且高保真的图像。

实验结果

研究问题

• RQ1 深度学习模型能否有效恢复在极端低光照条件下因A/D量化而丢失的图像细节？
• RQ2 从标准JPEG图像生成的合成训练数据在多大程度上能够实现对真实世界低光照图像恢复的泛化？
• RQ3 算法照明补偿与深度去量化相结合的方法，相较于CLAHE、OCTM、LIME和SRIE等传统增强方法，优势体现在何处？
• RQ4 该方法能否在真实照片中恢复细粒度细节（如面部特征和车牌），而传统方法在此类场景中失效？
• RQ5 去量化网络对未见过的低光照条件（包括未在训练中使用的HDR图像衍生的条件）是否具有鲁棒性？

主要发现

• 在合成全局和局部低光照图像中，所提方法在恢复精细细节方面显著优于CLAHE、OCTM、LIME和SRIE，且伪影极少。
• 在真实照片中，该方法成功恢复了面部细节和车牌信息，而其他方法则引入块状伪影或过度增强图像。
• 去量化网络对HDR衍生的低光照图像具有良好的泛化能力，尽管其未在该类数据上显式训练。
• 视觉对比显示，仅所提方法能有效减少量化伪影并保留局部对比度，尤其在天空和道路等平滑区域表现更优。
• 算法照明补偿步骤有效增强了信号强度和动态范围，使后续基于深度学习的去量化能够恢复丢失的信息。
• 该方法在定量和定性评估中均表现出优越性能，证明了将物理建模与深度学习结合用于图像恢复的有效性。