[论文解读] Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer

Shiyu Ning, Hongteng Xu+3 more|arXiv (Cornell University)|Apr 20, 2018

Image Enhancement Techniques参考文献 12被引用 3

一句话总结

本文提出了一种基于深度学习的逆色调映射网络（iTMN），采用U-Net生成器和CNN判别器的生成对抗网络（GAN）架构，将低动态范围（LDR）图像转换为高动态范围（HDR）图像。通过联合优化内容损失与对抗正则化，该方法在HDR重建质量方面达到最先进性能，在HDR-VDP-2、mPSNR和SSIM指标上均优于现有方法。

ABSTRACT

Transferring a low-dynamic-range (LDR) image to a high-dynamic-range (HDR) image, which is the so-called inverse tone mapping (iTM), is an important imaging technique to improve visual effects of imaging devices. In this paper, we propose a novel deep learning-based iTM method, which learns an inverse tone mapping network with a generative adversarial regularizer. In the framework of alternating optimization, we learn a U-Net-based HDR image generator to transfer input LDR images to HDR ones, and a simple CNN-based discriminator to classify the real HDR images and the generated ones. Specifically, when learning the generator we consider the content-related loss and the generative adversarial regularizer jointly to improve the stability and the robustness of the generated HDR images. Using the learned generator as the proposed inverse tone mapping network, we achieve superior iTM results to the state-of-the-art methods consistently.

研究动机与目标

• 解决传统iTM方法依赖启发式、线性或分段映射所导致的颜色相关性差与过曝光等问题。
• 开发一种端到端的深度学习框架，能够以高保真度学习从LDR到HDR的复杂非线性逆色调映射。
• 通过引入生成对抗正则化器，使生成HDR图像的分布与真实HDR数据对齐，从而提升生成结果的鲁棒性与视觉质量。
• 证明对抗训练相比标准MSE损失训练，能提升收敛性与稳定性。

提出的方法

• 使用基于U-Net的生成器将输入LDR图像映射为HDR输出，跳跃连接有助于保留空间细节。
• 采用简单的CNN判别器，用于区分真实HDR图像与生成的HDR图像，提供对抗性反馈。
• 生成器通过组合损失进行优化：基于内容的MSE损失与来自判别器输出的对抗正则化项。
• 训练采用交替优化策略：先在真实与生成的HDR图像上更新判别器，再更新生成器以最小化内容损失与对抗损失。
• 目标函数表述为 min_G max_D λℒ_G(L,H) + ℛ_{G,D}(L,H)，其中ℒ_G为内容损失，ℛ_{G,D}为对抗正则化项。
• 引入基于梯度的dMSE损失，以提升高频区域的结构一致性。

实验结果

研究问题

• RQ1 与传统方法相比，基于GAN的框架是否能提升逆色调映射的视觉质量与结构保真度？
• RQ2 引入生成对抗正则化器对HDR生成过程的稳定性与收敛性有何影响？
• RQ3 在感知与客观指标方面，所提方法在多大程度上优于当前最先进的iTM技术？
• RQ4 在组合损失函数中，哪些超参数设置（如λ, α）能获得最优性能？

主要发现

• 所提出的iTMN在HDR-VDP-2指标上取得73.77的最高分，显著优于次佳方法（72.47），表明其具有更优的感知质量。
• 该方法在mPSNR上达到21.61，高于次佳方法（20.62），表明像素级失真更低。
• SSIM得分为0.8098，证实生成的HDR图像在结构完整性方面优于其他竞争方法，包括DrTM（0.7968）与KO（0.6459）。
• 消融实验表明，若移除dMSE损失（NoDMSE）或对抗正则化项（NoAdvReg），性能均下降，证明两项组件的有效性。
• 收敛曲线（图2h）显示，加入对抗正则化后，损失函数收敛更快且更稳定，损失值在迭代过程中持续下降。
• 最优超参数被确定为λ = 10^4与α = 10^5，如表2所示，该设置在所有指标上均取得最佳性能。