[论文解读] Image Correction via Deep Reciprocating HDR Transformation

Xin Yang, Ke Xu+4 more|arXiv (Cornell University)|Apr 12, 2018

Image Enhancement Techniques参考文献 38被引用 7

一句话总结

本文提出深度互逆HDR变换（DRHT），一种端到端深度学习框架，通过在高动态范围（HDR）域重建缺失细节，再经色调映射将结果映射回低动态范围（LDR）域，从而校正欠曝/过曝图像。该方法在标准基准测试中优于最先进图像校正技术，通过联合HDR重建与LDR校正网络，有效恢复了丢失细节。

ABSTRACT

Image correction aims to adjust an input image into a visually pleasing one. Existing approaches are proposed mainly from the perspective of image pixel manipulation. They are not effective to recover the details in the under/over exposed regions. In this paper, we revisit the image formation procedure and notice that the missing details in these regions exist in the corresponding high dynamic range (HDR) data. These details are well perceived by the human eyes but diminished in the low dynamic range (LDR) domain because of the tone mapping process. Therefore, we formulate the image correction task as an HDR transformation process and propose a novel approach called Deep Reciprocating HDR Transformation (DRHT). Given an input LDR image, we first reconstruct the missing details in the HDR domain. We then perform tone mapping on the predicted HDR data to generate the output LDR image with the recovered details. To this end, we propose a united framework consisting of two CNNs for HDR reconstruction and tone mapping. They are integrated end-to-end for joint training and prediction. Experiments on the standard benchmarks demonstrate that the proposed method performs favorably against state-of-the-art image correction methods.

研究动机与目标

• 解决现有图像校正方法在恢复欠曝/过曝区域细节方面的局限性。
• 通过重新审视HDR域中缺失细节得以保留的特性，克服基于LDR校正的病态性问题。
• 将图像校正建模为互逆HDR变换过程，以支持端到端学习。
• 开发一个统一的深度学习框架，联合优化HDR重建与色调映射，以提升视觉质量。

提出的方法

• 提出两阶段深度学习框架：一个用于HDR重建的CNN，另一个用于色调映射。
• 采用残差学习，仅预测HDR域中的缺失细节，降低完整HDR重建的复杂度。
• 通过反向伽马压缩和对数变换，将HDR预测结果映射回LDR域。
• 使用统一损失函数联合训练两个网络，该损失函数结合感知损失与重建损失。
• 利用图像形成模型 I = f_CRF(S × Δt) 来证明基于HDR的校正方法的合理性。
• 以互逆方式集成HDR重建与色调映射，确保HDR中恢复的细节在最终LDR输出中得以保留。

实验结果

研究问题

• RQ1 若将校正过程从LDR域转移到HDR域，是否能有效恢复欠曝/过曝区域的缺失细节？
• RQ2 一种联合学习HDR重建与色调映射的端到端深度学习框架，是否优于现有基于LDR的校正方法？
• RQ3 在HDR数据上采用残差学习，是否能提升细节恢复能力，同时保持视觉合理性？
• RQ4 与最先进基于HDR的图像校正方法相比，所提出的DRHT方法在视觉与定量性能方面表现如何？
• RQ5 DRHT框架在处理极端光照条件（如直射阳光导致的强烈过曝）时存在哪些局限性？

主要发现

• 所提出的DRHT方法在标准图像校正基准测试中达到最先进性能，无论在视觉质量还是定量指标上，均优于现有基于LDR与HDR的方法。
• 定量评估显示，DRHT在PSNR、SSIM与LPIPS等指标上表现更优，表明其具有更好的结构与感知保真度。
• 视觉对比结果表明，DRHT能成功恢复欠曝区域的精细细节（如阴影中的纹理），同时避免传统滤波方法常见的过度平滑问题。
• DRHT优于基于HDR的基线方法（如DrTMO与Hdrcnn），尤其在保持局部对比度与减少雪地或高对比度区域的块效应等伪影方面表现更佳。
• 该方法通过聚焦于残差HDR重建，有效防止了色调映射过程中的细节丢失，从而生成更具自然感的输出。
• 局限性分析表明，DRHT在极端过曝情况（如强阳光直射）下表现欠佳，原因在于此类情况的训练样本不足，提示未来工作需加强数据增强。