[论文解读] HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization

Xiangyu Chen, Yihao Liu+3 more|arXiv (Cornell University)|May 27, 2021

Image Enhancement Techniques参考文献 53被引用 6

一句话总结

HDRUNet 提出了一种空间动态的编码器-解码器网络，用于从单张 8 位 LDR 输入中联合执行去噪与去量化，实现单图像 HDR 重建。通过整合 UNet 风格的基础网络、用于模式特定调制的条件网络以及用于特征保留的加权网络，并结合一种新型的 Tanh_L1 损失函数，该方法在 NTIRE2021 HDR 挑战赛中取得 SOTA 性能，获得第二名，PSNR-μ 达到 34.74 dB，视觉质量优异。

ABSTRACT

Most consumer-grade digital cameras can only capture a limited range of luminance in real-world scenes due to sensor constraints. Besides, noise and quantization errors are often introduced in the imaging process. In order to obtain high dynamic range (HDR) images with excellent visual quality, the most common solution is to combine multiple images with different exposures. However, it is not always feasible to obtain multiple images of the same scene and most HDR reconstruction methods ignore the noise and quantization loss. In this work, we propose a novel learning-based approach using a spatially dynamic encoder-decoder network, HDRUNet, to learn an end-to-end mapping for single image HDR reconstruction with denoising and dequantization. The network consists of a UNet-style base network to make full use of the hierarchical multi-scale information, a condition network to perform pattern-specific modulation and a weighting network for selectively retaining information. Moreover, we propose a Tanh_L1 loss function to balance the impact of over-exposed values and well-exposed values on the network learning. Our method achieves the state-of-the-art performance in quantitative comparisons and visual quality. The proposed HDRUNet model won the second place in the single frame track of NITRE2021 High Dynamic Range Challenge.

研究动机与目标

• 解决从单张低动态范围（LDR）图像重建高动态范围（HDR）图像的挑战，同时处理噪声与量化误差。
• 克服现有方法仅关注动态范围扩展、忽略良好曝光区域中噪声与量化退化的问题。
• 开发一种端到端的深度学习框架，能够恢复过曝区域的精细细节，并减少良好曝光区域的伪影。
• 通过一种新型损失函数，平衡高亮度与正常亮度区域的学习影响，提升训练稳定性和性能。
• 在单图像 HDR 重建任务中实现 SOTA 的定量与定性结果，通过基准测试与竞赛参与加以验证。

提出的方法

• 提出 HDRUNet，一种具有三个核心组件的空间动态编码器-解码器架构：用于多尺度特征提取的 UNet 风格基础网络、使用 SFT（空间自适应特征变换）层实现模式特定调制的条件网络，以及用于自适应特征保留的加权网络。
• 提出一种新型损失函数 Tanh_L1，通过双曲正切函数将预测的 HDR 值归一化至 [0, 1] 区间后再计算 L1 损失，从而在训练过程中平衡过曝区域与良好曝光区域的影响。
• 采用多阶段训练策略：首先在大规模 LDR-HDR 数据集上对基础网络进行预训练，随后联合优化所有组件。
• 在网络中采用残差学习范式，以稳定训练过程，并提升低亮度与高亮度区域的特征表示能力。
• 通过伽马校正与 μ-law 亮度映射进行可视化，定量评估则采用 PSNR-L（衡量高亮度区域准确性）与 PSNR-μ（衡量视觉相似性）。
• 在包含真实世界噪声与量化伪影的自定义 LDR-HDR 数据集上进行训练与评估，确保真实可靠的基准测试条件。

实验结果

研究问题

• RQ1 单一深度神经网络能否有效从单张 LDR 图像中重建 HDR 图像，同时实现去噪与去量化？
• RQ2 网络应如何设计以处理不同亮度区域中空间变化的噪声与量化模式？
• RQ3 与标准 L1 或 L2 损失相比，新型损失函数 Tanh_L1 在平衡高亮度与正常亮度区域重建方面能带来多大程度的改进？
• RQ4 联合优化 HDR 重建、去噪与去量化是否优于将这些任务分开处理的方法？
• RQ5 所提出的具有条件与加权模块的空间动态架构是否能在视觉质量与定量指标上带来可测量的提升？

主要发现

• HDRUNet 在基准数据集上取得 34.02 dB 的 PSNR-μ，优于所有对比方法，包括 HDRCNN（26.05 dB）与 Deep SR-ITM（26.25 dB）。
• 该方法在 PSNR-L 上达到 41.61 dB，表明其在恢复高亮度值方面具有强大准确性，在该指标中位列顶尖。
• 在 NTIRE2021 HDR 挑战赛中，HDRUNet 在单帧赛道中获得第二名，PSNR-μ 为 34.736 dB，仅落后于第一名方法 0.07 dB。
• 该模型推理速度比排名第一的方法快 116 倍（0.53 秒 vs. 61.52 秒），展现出极高的推理效率，且未使用集成技术。
• 定性结果表明，HDRUNet 成功恢复了过曝区域的精细细节，并显著减少了良好曝光区域的噪声与量化伪影。
• Tanh_L1 损失函数相比标准 L1 与 L2 损失，能带来更优的视觉质量与更高的 PSNR-μ，证实其在平衡不同亮度层级训练动态方面的有效性。