[论文解读] Blind Super-Resolution With Iterative Kernel Correction

Jinjin Gu, Hannan Lu+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 35被引用 23

一句话总结

本文提出一种用于盲超分辨率的迭代核校正（IKC）方法，通过迭代细化基于超分辨率输出中伪影模式的不准确模糊核，实现对模糊核的校正。结合一种新型的SFTMD网络（采用空间特征变换层），该方法在合成图像和真实世界图像上均实现了最先进性能，显著减少了因核不匹配导致的过度平滑和振铃伪影。

ABSTRACT

Deep learning based methods have dominated super-resolution (SR) field due to their remarkable performance in terms of effectiveness and efficiency. Most of these methods assume that the blur kernel during downsampling is predefined/known (e.g., bicubic). However, the blur kernels involved in real applications are complicated and unknown, resulting in severe performance drop for the advanced SR methods. In this paper, we propose an Iterative Kernel Correction (IKC) method for blur kernel estimation in blind SR problem, where the blur kernels are unknown. We draw the observation that kernel mismatch could bring regular artifacts (either over-sharpening or over-smoothing), which can be applied to correct inaccurate blur kernels. Thus we introduce an iterative correction scheme -- IKC that achieves better results than direct kernel estimation. We further propose an effective SR network architecture using spatial feature transform (SFT) layers to handle multiple blur kernels, named SFTMD. Extensive experiments on synthetic and real-world images show that the proposed IKC method with SFTMD can provide visually favorable SR results and the state-of-the-art performance in blind SR problem.

研究动机与目标

• 解决当模糊核未知或不匹配时，基于深度学习的超分辨率性能下降的问题。
• 克服现有方法在真实世界应用中依赖预定义或手工设计核的局限性。
• 开发一种鲁棒的端到端框架，可在无需真实核监督的情况下估计并校正模糊核。
• 提升在多样化退化模式（包括真实世界复杂且未知的模糊核）下的泛化能力。
• 实现在无退化过程先验知识情况下的自动、无伪影超分辨率。

提出的方法

• 提出一种迭代核校正（IKC）方案，通过分析超分辨率输出中的伪影来细化初始模糊核估计。
• 利用核不匹配效应的非对称性：过度平滑表明核过于平滑，而振铃现象则表明核过于锐利。
• 应用主成分分析（PCA）将模糊核表示在低维空间中，提升对未见核的泛化能力。
• 设计一种新型非盲超分辨率网络SFTMD，其使用空间特征变换（SFT）层，以多个模糊核为条件调节特征图。
• 通过在SFT模块中注入核感知特征，使SFTMD网络能够处理可变核，实现更优的特征自适应。
• 在两阶段流程中结合IKC与SFTMD：首先通过IKC估计核，然后使用校正后的核在SFTMD中重建高分辨率图像。

实验结果

研究问题

• RQ1 迭代校正模糊核是否能减少盲超分辨率中因核不匹配引起的伪影？
• RQ2 使用PCA表示模糊核是否能提升在多样化退化模式下的泛化能力？
• RQ3 SFTMD在处理多个模糊核时是否能超越现有非盲超分辨率网络（如SRMD）？
• RQ4 所提出的IKC方法在具有未知且复杂退化核的真实世界图像上的表现如何？
• RQ5 IKC与SFTMD的结合是否能在合成与真实世界设置下均实现盲超分辨率的最先进性能？

主要发现

• 所提出的IKC方法在DIV2K数据集上以4倍超分因子实现了27.06的PSNR，优于先前的最先进方法。
• 在BSD100数据集上，IKC以4倍超分因子实现了26.35的PSNR，表明其在多样化图像集上的强大性能。
• 该方法对未见退化设置具有良好的泛化能力，即使下采样核与训练条件不同，仍能保持高性能。
• 真实世界图像的视觉结果表明，IKC生成的输出比ZSSR和使用手工核的SRMD更清晰、更自然。
• PCA在核表示中的应用提升了泛化能力，表现为在训练期间未见过的测试核上表现更优。
• SFTMD在性能上优于SRMD，在某些基准测试中PSNR提升了2.5 dB，证实了SFT特征调制的有效性。