[论文解读] JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video

Soo Ye Kim, Jihyong Oh+1 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Image Processing Techniques参考文献 20被引用 4

一句话总结

该论文提出JSI-GAN，一种基于生成对抗网络（GAN）的联合超分辨率与逆色调映射框架，通过使用针对任务的子网络及逐像素1D可分离滤波器与2D局部滤波器，增强4K超高清HDR视频的细节与对比度。通过引入一种新颖的细节GAN损失和特征匹配损失，该方法在稳定训练和实现感知真实的高分辨率HDR重建方面表现优异，相比先前方法实现0.41 dB的PSNR增益，达到当前最优性能。

ABSTRACT

Joint learning of super-resolution (SR) and inverse tone-mapping (ITM) has been explored recently, to convert legacy low resolution (LR) standard dynamic range (SDR) videos to high resolution (HR) high dynamic range (HDR) videos for the growing need of UHD HDR TV/broadcasting applications. However, previous CNN-based methods directly reconstruct the HR HDR frames from LR SDR frames, and are only trained with a simple L2 loss. In this paper, we take a divide-and-conquer approach in designing a novel GAN-based joint SR-ITM network, called JSI-GAN, which is composed of three task-specific subnets: an image reconstruction subnet, a detail restoration (DR) subnet and a local contrast enhancement (LCE) subnet. We delicately design these subnets so that they are appropriately trained for the intended purpose, learning a pair of pixel-wise 1D separable filters via the DR subnet for detail restoration and a pixel-wise 2D local filter by the LCE subnet for contrast enhancement. Moreover, to train the JSI-GAN effectively, we propose a novel detail GAN loss alongside the conventional GAN loss, which helps enhancing both local details and contrasts to reconstruct high quality HR HDR results. When all subnets are jointly trained well, the predicted HR HDR results of higher quality are obtained with at least 0.41 dB gain in PSNR over those generated by the previous methods.

研究动机与目标

• 为解决将传统低分辨率、标准动态范围（SDR）视频转换为高分辨率、高动态范围（HDR）视频以适配UHD HDR广播的挑战。
• 克服基于CNN的方法使用简单L2损失和共享卷积滤波器的局限性，这些方法难以保留精细细节与局部对比度。
• 设计一种联合学习框架，同时执行超分辨率与逆色调映射，提升感知质量与客观指标表现。
• 通过引入新颖的细节GAN损失与特征匹配损失，实现该复杂任务中GAN训练的稳定性。
• 开发可扩展的、逐像素的滤波器，使其能自适应不同缩放倍数，并针对图像的基底层与细节层进行优化。

提出的方法

• 生成器由三个任务特定的子网络组成：图像重建（IR）、细节恢复（DR）与局部对比度增强（LCE），每个子网络均针对其特定功能进行优化。
• DR子网络使用逐像素1D可分离滤波器，以恢复输入细节层中的高频分量与精细纹理。
• LCE子网络对基底层应用逐像素2D局部滤波器，以增强局部对比度，同时保持自然外观。
• 该框架在处理前使用引导滤波器将每个低分辨率SDR帧分解为基底层与细节层。
• 引入一种新颖的细节GAN损失以强制实现逼真的细节生成，同时通过特征匹配损失稳定训练并提升客观指标。
• 所有子网络通过联合训练，结合对抗损失、细节GAN损失与重建损失，以平衡感知质量与保真度。

实验结果

研究问题

• RQ1 基于GAN的框架能否在提升感知质量与客观性能的前提下，联合优化超分辨率与逆色调映射？
• RQ2 与共享卷积滤波器相比，逐像素1D可分离滤波器与2D局部滤波器在细节恢复与对比度增强方面有何优势？
• RQ3 引入专用的细节GAN损失是否能提升HR HDR输出中精细纹理与边缘的真实感？
• RQ4 特征匹配损失是否能缓解GAN图像生成中常见的客观指标（如PSNR）下降问题？
• RQ5 任务特定子网络结合自适应滤波器在联合SR-ITM任务中，相较于端到端共享网络，性能提升程度如何？

主要发现

• JSI-GAN在UHD HDR视频重建任务中相比先前方法实现0.41 dB的PSNR增益，展现出更优的客观性能。
• 所提出的细节GAN损失显著提升了精细纹理与边缘的真实性，与基线模型产生的模糊或含伪影的输出相比，定性对比结果明显更优。
• 与仅使用L2损失的模型相比，JSI-GAN能有效减少均匀区域（尤其是背景）中的振铃与颜色伪影。
• 该模型在不同缩放倍数下均保持高性能，参数量随任务特定滤波器学习成比例增长。
• 在NVIDIA TITAN Xp GPU上的推理时间足够支持实时应用，且参数量随缩放倍数成比例扩展。
• 消融实验表明，细节GAN损失与特征匹配损失对实现高感知质量与稳定训练均至关重要。