[论文解读] Deep Inverse Tone Mapping Using LDR Based Learning for Estimating HDR Images with Absolute Luminance

Yuma Kinoshita, Hitoshi Kiya|arXiv (Cornell University)|Feb 28, 2019

Image Enhancement Techniques参考文献 20被引用 4

一句话总结

本文提出了一种基于深度学习的逆色调映射方法，通过使用Reinhard全局映射算子处理的LDR图像进行CNN训练，实现对具有绝对亮度的HDR图像的估计。通过学习该算子的逆变换，该方法在HDR-VDP-2.2和PU编码+MS-SSIM指标下均优于当前最先进方法，且无需使用HDR专用损失函数或多曝光输入。

ABSTRACT

In this paper, a novel inverse tone mapping method using a convolutional neural network (CNN) with LDR based learning is proposed. In conventional inverse tone mapping with CNNs, generated HDR images cannot have absolute luminance, although relative luminance can. Moreover, loss functions suitable for learning HDR images are problematic, so it is difficult to train CNNs by directly using HDR images. In contrast, the proposed method enables us not only to estimate absolute luminance, but also to train a CNN by using LDR images. The CNN used in the proposed method learns a transformation from various input LDR images to LDR images mapped by Reinhard's global operator. Experimental results show that HDR images generated by the proposed method have higher-quality than HDR ones generated by conventional inverse tone mapping methods,in terms of HDR-VDP-2.2 and PU encoding + MS-SSIM.

研究动机与目标

• 解决现有基于CNN的逆色调映射方法无法在生成的HDR图像中估计绝对亮度的局限性。
• 克服为直接HDR图像训练设计有效损失函数的困难，该困难源于HDR数据的宽动态范围和非线性响应特性。
• 实现仅使用LDR图像进行端到端CNN训练，避免对配对HDR-LDR数据或多曝光输入的依赖。
• 在保持简单网络架构的同时，实现高质量HDR重建并准确还原绝对亮度。

提出的方法

• CNN被训练以将输入LDR图像映射为经Reinhard全局算子进行色调映射的LDR图像，该算子在参数已知时具有可逆性。
• 该方法利用Reinhard算子的可逆性：在CNN预测出色调映射后的LDR输出后，应用其逆变换以恢复具有绝对亮度的HDR图像。
• 关键参数——亮度因子$a$和几何平均$G(E)$——从LDR输出和输入中估计得出，从而通过$E'_{i,j} = \frac{G(E)}{a} \cdot \frac{I_{i,j}}{1 - I_{i,j}}$重建辐照度$E$。
• 损失函数在LDR域中通过标准的像素级回归（如L1或L2）计算，避免使用复杂的HDR专用损失函数。
• 网络架构为类似U-Net的编码器-解码器结构，带有跳跃连接，使用Adam优化，学习率参数为$\alpha=0.002$，$\beta_1=0.5$，$\beta_2=0.999$。
• 该方法避免了对多曝光监督或显式HDR监督的需求，完全依赖LDR学习。

实验结果

研究问题

• RQ1 仅在LDR图像上进行训练的CNN能否生成具有准确绝对亮度的HDR图像？
• RQ2 学习映射到Reinhard色调映射LDR输出的变换，是否能比直接HDR学习或多曝光方法实现更优的HDR重建效果？
• RQ3 所提方法是否能在客观和主观质量指标上均优于当前最先进的逆色调映射技术？
• RQ4 与现有需要复杂架构或多阶段训练的基于CNN的方法相比，该方法是否更具效率且更简单？

主要发现

• 在全部七张测试图像中，所提方法在HDR-VDP-2.2评分中均取得最高分，最高分为61.49（图像7），显著优于Direct ITMO（44.77）和DrTMO（43.82）。
• 在PU编码+MS-SSIM评估中，所提方法在所有图像上均取得最高分，图像7得分为0.9804，而PMET为0.6997，DrTMO为0.6042。
• 视觉对比显示，与Direct ITMO和PMET相比，所提方法在暗部区域更好地保留了细微细节，且避免了DrTMO在过曝输出中出现的颜色失真。
• 尽管网络架构更简单，该方法在质量上仍优于DrTMO，后者使用了两个3D反卷积网络。
• 结果证实，通过Reinhard算子进行逆色调映射的LDR学习，可在无需HDR监督的情况下实现准确的绝对亮度估计。
• 该方法表明，在已知且可逆的色调映射函数下于LDR域进行训练，是直接HDR训练的一种可行且有效的替代方案。