[论文解读] LHDR: HDR Reconstruction for Legacy Content using a Lightweight DNN

Cheng Guo, Xiuhua Jiang|arXiv (Cornell University)|Nov 21, 2022

Image Enhancement Techniques被引用 5

一句话总结

LHDR 提出了一种轻量级深度神经网络（DNN），用于从传统 SDR 内容中重建单图像 HDR，明确训练以处理噪声和 JPEG 压缩等复合退化。通过基于相机处理流程的建模重构与强调退化感知训练，LHDR 在计算成本极低的情况下实现了最先进性能，在合成数据和真实世界传统数据上均优于现有方法。

ABSTRACT

High dynamic range (HDR) image is widely-used in graphics and photography due to the rich information it contains. Recently the community has started using deep neural network (DNN) to reconstruct standard dynamic range (SDR) images into HDR. Albeit the superiority of current DNN-based methods, their application scenario is still limited: (1) heavy model impedes real-time processing, and (2) inapplicable to legacy SDR content with more degradation types. Therefore, we propose a lightweight DNN-based method trained to tackle legacy SDR. For better design, we reform the problem modeling and emphasize degradation model. Experiments show that our method reached appealing performance with minimal computational cost compared with others.

研究动机与目标

• 为解决从遭受多种退化（包括噪声和压缩）影响的传统 SDR 内容中重建 HDR 的挑战，而当前基于 DNN 的方法难以有效应对此问题。
• 设计一种轻量级 DNN 架构，以实现实时推理并可在资源受限设备上部署。
• 通过基于精确相机处理流程的建模，重构单图像 HDR（SI-HDR）问题的建模方式，实现网络设计与退化特征之间的更好对齐。
• 强调退化建模在训练中的关键作用，该点在以往工作中被严重低估。
• 证明在真实退化条件下联合训练可显著提升在真实世界传统内容上的鲁棒性与性能。

提出的方法

• 该方法采用基于逐点卷积和组卷积的轻量级 DNN 架构，以减少模型大小和乘加操作（MAC）数量。
• 基于相机处理流程的重构问题建模，可实现精确的退化模拟，并优化网络模块设计。
• 训练集通过真实退化（如相机噪声和 JPEG 压缩）进行增强，特别针对传统 SDR 内容进行定制。
• 编码器中采用部分卷积（P.C.）和明亮无效掩码机制，以抑制过曝和受损特征，提升特征表示能力以支持重建。
• 网络采用类似 U-Net 的跳跃连接结构，并结合空间特征调制，以保留高频细节。
• 采用多阶段训练策略，同时整合 HDR 专属退化（如过曝/欠曝）与传统退化（噪声、压缩），以增强泛化能力。

实验结果

研究问题

• RQ1 能否设计一种轻量级 DNN，以有效重建受噪声与压缩复合退化影响的传统 SDR 内容的 HDR？
• RQ2 如何通过相机处理流程重构问题建模，以改进 SI-HDR 网络的设计与性能？
• RQ3 在训练数据中引入真实退化类型在多大程度上影响 HDR 重建的鲁棒性与准确性？
• RQ4 使用部分卷积与专用掩码机制是否能增强网络恢复过曝区域的能力？
• RQ5 如组卷积与参数共享等架构选择，如何影响模型效率与重建质量之间的权衡？

主要发现

• 在真实传统 SDR 内容上，LHDR 实现了 38.12 的 PSNR、0.9515 的 SSIM 和 7.173 的 VDP-Q，优于所有基于 DNN 与非 DNN 的 SOTA 方法。
• 若从训练中移除传统退化（噪声与 JPEG 压缩），SSIM 与 VDP-Q 显著下降至 0.7123 与 5.370，证明其对鲁棒性至关重要。
• 将训练集替换为过曝/欠曝像素更少的版本（1% 对比 2–9%），PSNR 从 38.12 降至 29.55，证实 HDR 专属退化建模的重要性。
• 若省略部分卷积（P.C.），则导致过曝区域过度平滑与扩散，PSNR 降至 36.29，SSIM 降至 0.8112，证明其在特征精炼中的关键作用。
• 使用组卷积虽轻微降低性能（PSNR：38.85 对比 38.12），但仅带来极小的推理时间与 MAC 数量增加，同时保持良好视觉质量。
• 消融实验表明，退化建模与网络架构同等关键，不恰当的退化模拟会严重损害真实世界性能。