[论文解读] Blind Super-Resolution Kernel Estimation using an Internal-GAN

Sefi Bell-Kligler, Assaf Shocher+1 more|arXiv (Cornell University)|Sep 14, 2019

Advanced Image Processing Techniques被引用 215

一句话总结

KernelGAN 在单张低分辨率图像上训练一个针对该图像的内部 GAN，以估计其真实的 SR 核，从而在现有 SR 方法中插入该核实现真正的 Blind-SR。它在真实和非理想的 LR 图像上无需外部数据就能达到最先进的结果。

ABSTRACT

Super resolution (SR) methods typically assume that the low-resolution (LR) image was downscaled from the unknown high-resolution (HR) image by a fixed 'ideal' downscaling kernel (e.g. Bicubic downscaling). However, this is rarely the case in real LR images, in contrast to synthetically generated SR datasets. When the assumed downscaling kernel deviates from the true one, the performance of SR methods significantly deteriorates. This gave rise to Blind-SR - namely, SR when the downscaling kernel ("SR-kernel") is unknown. It was further shown that the true SR-kernel is the one that maximizes the recurrence of patches across scales of the LR image. In this paper we show how this powerful cross-scale recurrence property can be realized using Deep Internal Learning. We introduce "KernelGAN", an image-specific Internal-GAN, which trains solely on the LR test image at test time, and learns its internal distribution of patches. Its Generator is trained to produce a downscaled version of the LR test image, such that its Discriminator cannot distinguish between the patch distribution of the downscaled image, and the patch distribution of the original LR image. The Generator, once trained, constitutes the downscaling operation with the correct image-specific SR-kernel. KernelGAN is fully unsupervised, requires no training data other than the input image itself, and leads to state-of-the-art results in Blind-SR when plugged into existing SR algorithms.

研究动机与目标

• 说明真实世界 Blind-SR 的需求：SR 核未知且可能非理想。
• 提出一种无监督、针对图像的核估计方法，利用跨尺度补丁的复现性。
• 证明所得的 SR 核在与现有 SR 算法结合后能提升 SR 性能。

提出的方法

• 引入 KernelGAN：一个图像特定的内部 GAN，具有深线性生成器和基于补丁的判别器，在 LR 图像的裁剪上进行训练。
• 生成器学习一种下采样操作，使下采样图像的补丁分布与原始 LR 图像的补丁分布不可区分。
• 通过卷积生成器的层获取显式的 SR-核；对其应用可微分正则化以强制核的性质（和为 1、中心性、稀疏性）。
• 使用深线性生成器（5 层）来匹配 SR-核，同时保持可解释性和优化稳定性。
• 为多尺度推导 SR-核（例如 k2，并可从 k2 解析得到 k4），以实现多尺度 Blind-SR。
• 使用 ADAM 进行约 3,000 次迭代的 GAN 训练，并依赖基于补丁的 D-map 引导 G 向目标补丁分布收敛。
• 将学习到的 SR-核嵌入非盲 SR 算法，以评估核估计的准确性和 SR 性能。

实验结果

研究问题

• RQ1 一个图像特定的、无监督的 GAN 是否可以从单张 LR 图像中估计出真实的 SR-核？
• RQ2 将图像特定的 SR-核代入现有 SR 方法，是否能在真实/非理想的 LR 数据上达到最先进的 Blind-SR 性能？
• RQ3 深线性生成器是否优于单层生成器，以实现对图像特定 SR-核的稳定收敛？
• RQ4 从一次 KernelGAN 运行中，如何推导出不同尺度的核？
• RQ5 使用 KernelGAN 估计的核相较于先前的核估计方法，在 PSNR/SSIM 上的定量提升是多少？

主要发现

Method	×2 PSNR/SSIM	×4 PSNR/SSIM
Bicubic Interpolation	28.731 / 0.8040	25.330 / 0.6795
SotA SR algorithms (with bicubic kernel + ZSSR)	29.102 / 0.8215	25.605 / 0.6911
SotA SR算法（with EDSRplus）	29.172 / 0.8216	25.638 / 0.6928
SotA SR算法（with RCANplus）	29.198 / 0.8223	25.659 / 0.6936
PDN (NTIRE’18 winner)	-	26.340 / 0.7190
KernelGAN (Ours) + SRMD (NTIRE winner)	29.565 / 0.8564	25.711 / 0.7265
KernelGAN (Ours) + ZSSR	30.363 / 0.8669	26.810 / 0.7316
Ground-truth kernel + SRMD	31.962 / 0.8955	27.375 / 0.7655
Ground-truth kernel + ZSSR (Upper bound)	32.436 / 0.8992	27.527 / 0.7446
Ground-truth kernel baseline (alternative)	-	-

• 在核非理想或未知的情况下，KernelGAN 与 ZSSR 和其他 SR 方法联合使用时，相较于非盲 SR 能获得显著改进。
• 基于 KernelGAN 的核估计在与 SR 算法结合使用时，在可视和定量指标上都优于 Michaeli & Irani（先前的核估计方法）。
• 在 DIV2KRK Blind-SR 基准上，使用 KernelGAN 相对于先前方法，在 ×2 的 PSNR 提升约 1 dB；在 ×4 时提升约 0.47 dB，且与 ZSSR 结合使用。
• 带有 13×13 感受野的深线性生成器在核估计上显著优于单层生成器。
• 该方法提供了一条解析路径，可以通过卷积/扩张关系从训练得到的 k2 推导出更高尺度的核（如 k4）。
• 真实图像实验表明，KernelGAN 提供更真实的 SR-核估计，从而提升感知和数值的 SR 质量。