[论文解读] Deep SR-ITM: Joint Learning of Super-Resolution and Inverse Tone-Mapping for 4K UHD HDR Applications

Soo Ye Kim, Jihyong Oh+1 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Image Processing Techniques参考文献 30被引用 8

一句话总结

本文提出 Deep SR-ITM，一种深度学习框架，可联合执行超分辨率（SR）和逆色调映射（ITM），将低分辨率标准动态范围（SDR）视频转换为高分辨率 HDR 内容。通过将图像分解为基础层和细节层，并应用位置自适应调制模块，该模型恢复了精细纹理并增强了局部对比度，从而在主观画质方面表现优越，并优于先前的联合 SR-ITM 方法。

ABSTRACT

Recent modern displays are now able to render high dynamic range (HDR), high resolution (HR) videos of up to 8K UHD (Ultra High Definition). Consequently, UHD HDR broadcasting and streaming have emerged as high quality premium services. However, due to the lack of original UHD HDR video content, appropriate conversion technologies are urgently needed to transform the legacy low resolution (LR) standard dynamic range (SDR) videos into UHD HDR versions. In this paper, we propose a joint super-resolution (SR) and inverse tone-mapping (ITM) framework, called Deep SR-ITM, which learns the direct mapping from LR SDR video to their HR HDR version. Joint SR and ITM is an intricate task, where high frequency details must be restored for SR, jointly with the local contrast, for ITM. Our network is able to restore fine details by decomposing the input image and focusing on the separate base (low frequency) and detail (high frequency) layers. Moreover, the proposed modulation blocks apply location-variant operations to enhance local contrast. The Deep SR-ITM shows good subjective quality with increased contrast and details, outperforming the previous joint SR-ITM method.

研究动机与目标

• 为应对尽管原生 HDR 源内容有限，但对高质量 4K UHD HDR 视频内容需求不断增长的挑战。
• 开发一种统一的深度学习框架，可同时执行超分辨率与逆色调映射。
• 通过恢复高频细节并增强转换后 HDR 视频的局部对比度，提升视觉质量。
• 通过在端到端可训练架构中联合优化 SR 与 ITM，克服顺序处理的局限性。

提出的方法

• 网络采用特征分解策略，将输入图像分离为基底（低频）层和细节（高频）层，以实现针对性增强。
• 采用双分支架构分别处理基底层和细节层，实现对结构内容和精细纹理的精确恢复。
• 引入调制模块，应用位置自适应操作，基于空间上下文自适应增强局部对比度。
• 使用组合损失函数进行端到端训练，以平衡感知质量、重建精度与结构相似性。
• 直接将低分辨率 SDR 输入映射为高分辨率 HDR 输出，无需中间色调映射表示。
• 架构针对 4K UHD HDR 应用进行了优化，确保在高分辨率视频处理中具备可扩展性与视觉保真度。

实验结果

研究问题

• RQ1 联合学习超分辨率与逆色调映射是否能优于顺序或独立处理方式在 HDR 视频缩放中的表现？
• RQ2 深度网络在低分辨率 SDR 输入中，能否有效恢复高频细节并保持局部对比度？
• RQ3 将特征分解为基底与细节层在多大程度上提升了 HDR 视频重建的质量？
• RQ4 位置自适应调制机制是否能在不引入伪影的情况下增强局部对比度？
• RQ5 所提出的端到端框架在感知与定量指标方面与先前最先进方法相比表现如何？

主要发现

• 所提出的 Deep SR-ITM 框架在主观视觉质量方面表现优越，相比先前的联合 SR-ITM 方法，对比度更佳、细节更锐利。
• 该模型通过基底-细节分解机制，有效恢复了精细纹理与高频分量。
• 位置自适应调制模块显著提升了局部对比度增强效果，尤其在复杂、高动态范围区域表现突出。
• 在定性与定量评估中，该框架均优于现有方法，其成果已被 ICCV 2019（口头报告）接受。
• 端到端的联合学习策略实现了更优的特征对齐与更连贯的 HDR 输出，优于级联或独立处理的流水线。