[论文解读] Kernelized Back-Projection Networks for Blind Super Resolution

Tomoki Yoshida, Yuki Kondo+3 more|arXiv (Cornell University)|Feb 16, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出了一种基于迭代整合模糊核估计与超分辨率特征增强的盲超分辨率方法——核化反向投影网络（KBPN 和 KCBPN）。通过使用原始模糊核建模退化过程，并利用反向投影实现残差学习，KBPN 在盲超分辨率基准测试中实现了最先进水平的 PSNR（29.52），通过迭代优化高分辨率图像与模糊核估计，显著优于先前方法。

ABSTRACT

Since non-blind Super Resolution (SR) fails to super-resolve Low-Resolution (LR) images degraded by arbitrary degradations, SR with the degradation model is required. However, this paper reveals that non-blind SR that is trained simply with various blur kernels exhibits comparable performance as those with the degradation model for blind SR. This result motivates us to revisit high-performance non-blind SR and extend it to blind SR with blur kernels. This paper proposes two SR networks by integrating kernel estimation and SR branches in an iterative end-to-end manner. In the first model, which is called the Kernel Conditioned Back-Projection Network (KCBPN), the low-dimensional kernel representations are estimated for conditioning the SR branch. In our second model, the Kernelized BackProjection Network (KBPN), a raw kernel is estimated and directly employed for modeling the image degradation. The estimated kernel is employed not only for back-propagating its residual but also for forward-propagating the residual to iterative stages. This forward-propagation encourages these stages to learn a variety of different features in different stages by focusing on pixels with large residuals in each stage. Experimental results validate the effectiveness of our proposed networks for kernel estimation and SR. We will release the code for this work.

研究动机与目标

• 为解决非盲超分辨率在处理任意退化（尤其是训练时未见的模糊核）方面的局限性。
• 探究在多样化模糊核上训练的非盲超分辨率模型是否能达到与专用盲超分辨率方法相当的性能。
• 开发端到端可训练的网络，通过迭代优化联合实现超分辨率与模糊核估计。
• 通过基于残差的反向投影机制，聚焦高分辨率残差像素，提升深度超分辨率网络的特征学习能力。
• 通过显式退化建模，提升图像重建与模糊核估计的鲁棒性与准确性。

提出的方法

• 提出两种模型：KCBPN 通过低维核表示条件化超分辨率分支，KBPN 则直接估计原始模糊核以实现显式退化建模。
• 在反向投影框架中集成迭代上采样与下采样过程，每一阶段均利用当前的高分辨率估计与模糊核重建低分辨率图像。
• 在每一阶段使用输入低分辨率图像与重建低分辨率图像之间的残差损失，实现对超分辨率与模糊核估计的渐进式优化。
• 采用联合损失函数：模糊核损失用于优化模糊核估计，低分辨率损失用于对齐重建的低分辨率图像与输入图像，以促进精确的退化建模。
• 不仅将反向投影用于误差反馈，还用于前向传播残差，从而在误差较高的像素上鼓励各阶段的特定特征学习。
• 采用密集跳跃连接结构，以保留并增强各迭代阶段的特征，提升表示多样性。

(a) HR image

实验结果

研究问题

• RQ1 在多样化模糊核上训练的非盲超分辨率模型能否实现与专用盲超分辨率方法相当的性能？
• RQ2 如何将迭代反向投影扩展至盲设置中，以联合优化模糊核估计与超分辨率？
• RQ3 基于重建低分辨率图像的残差学习在盲超分辨率中在多大程度上能改善特征表示与重建质量？
• RQ4 通过原始模糊核显式建模退化过程，是否能同时提升超分辨率与核估计性能？
• RQ5 所提出的网络中各迭代阶段如何学习多样化特征？这种多样性是否有助于提升重建保真度？

主要发现

• KBPN 在 DIV2K 盲超分辨率基准测试中实现了 29.52 的 PSNR，优于最先进方法如 IKC（27.64）与 KOALAnet（25.46）。
• 所提方法在视觉质量方面表现更优，尤其在锐化边缘与精细纹理重建方面，如定性对比所示。
• 特征图可视化表明，早期阶段学习低频特征，而后期阶段聚焦高频细节，表明存在渐进式优化过程。
• 残差图（R^LR_t）在各阶段呈现像素值递减趋势，表明重建图像与真实低分辨率图像之间的对齐性逐步提升。
• 该方法对多种模糊类型具有鲁棒性，包括各向异性高斯模糊，但对复杂模糊的核方差估计仍不完善。
• 实证结果证实，非盲超分辨率模型在多样化模糊核上进行训练后，性能可接近盲超分辨率方法，验证了本框架核心设计原则的有效性。

Figure 2 : Comparison of iterative SR networks. Iterative stages are enclosed by gray rectangles. (a) Non-blind SR with iterative up- and down-projections [ 5 ] . (b) Blind SR with kernel estimation [ 2 ] . (c) Our method 1 (KCBPN): Iterative up- and down-projections are integrated with kernel condi