[论文解读] Flow-based Kernel Prior with Application to Blind Super-Resolution

Jingyun Liang, Kai Zhang+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Image Processing Techniques参考文献 51被引用 9

一句话总结

本文提出一种基于流的核先验（FKP），通过归一化流模型将各向异性高斯潜在变量与复杂核分布之间建立可逆映射，实现对模糊核的有效建模。通过在潜在空间中优化并冻结FKP参数，该方法在参数更少的情况下实现了更稳定、更精确的核估计，在无监督超分辨率任务中性能优于Double-DIP和KernelGAN等先前方法。

ABSTRACT

Kernel estimation is generally one of the key problems for blind image super-resolution (SR). Recently, Double-DIP proposes to model the kernel via a network architecture prior, while KernelGAN employs the deep linear network and several regularization losses to constrain the kernel space. However, they fail to fully exploit the general SR kernel assumption that anisotropic Gaussian kernels are sufficient for image SR. To address this issue, this paper proposes a normalizing flow-based kernel prior (FKP) for kernel modeling. By learning an invertible mapping between the anisotropic Gaussian kernel distribution and a tractable latent distribution, FKP can be easily used to replace the kernel modeling modules of Double-DIP and KernelGAN. Specifically, FKP optimizes the kernel in the latent space rather than the network parameter space, which allows it to generate reasonable kernel initialization, traverse the learned kernel manifold and improve the optimization stability. Extensive experiments on synthetic and real-world images demonstrate that the proposed FKP can significantly improve the kernel estimation accuracy with less parameters, runtime and memory usage, leading to state-of-the-art blind SR results.

研究动机与目标

• 为解决无监督图像超分辨率（SR）中模糊核估计不准确、不稳定的挑战，该挑战会降低高分辨率（HR）图像质量。
• 利用已知先验——各向异性高斯核足以满足真实世界SR任务，通过比现有基于深度学习的先验更有效地建模这些核。
• 开发一种核先验，通过从可处理的潜在空间到核空间的双射映射，实现稳定优化。
• 在不牺牲无监督SR中核估计精度的前提下，降低模型复杂度并提升效率。

提出的方法

• FKP使用由批量归一化、排列层和仿射耦合层组成的归一化流，学习从潜在高斯分布到模糊核分布的可逆变换。
• 通过最小化观测核的负对数似然，在无监督设置下进行训练，使模型在无真实标签监督的情况下捕捉复杂核分布。
• 推理阶段，FKP参数被冻结，仅优化潜在变量，确保所有生成的核均位于学习到的核流形内。
• 该方法替代Double-DIP和KernelGAN中的核建模组件，支持高分辨率图像与核的联合优化，或基于生成对抗网络的训练，显著提升稳定性。
• 由于其双射性质，FKP可实现有意义且逼真的核初始化，避免了先前方法中随机初始化带来的问题。
• 该方法即插即用，可无缝集成至现有无监督SR框架（如Double-DIP和KernelGAN）中，无需修改网络架构。

实验结果

研究问题

• RQ1 与现有基于深度图像先验或生成对抗网络的方法相比，基于归一化流的核先验是否能提升无监督超分辨率中模糊核估计的准确性和稳定性？
• RQ2 从潜在空间到核空间学习双射映射是否能带来更优的核初始化与更优的优化收敛性？
• RQ3 FKP在保持或提升核估计性能的前提下，能在多大程度上降低模型复杂度（参数量、内存占用、运行时间）？
• RQ4 在非高斯核和图像噪声条件下，FKP相较于现有方法表现如何？
• RQ5 FKP能否有效集成至Double-DIP和KernelGAN等不同无监督SR框架中，实现最先进性能？

主要发现

• FKP在无监督超分辨率任务中达到最先进性能，KernelGAN-FKP在缩放因子为4时，相比KernelGAN将图像PSNR提升1.77dB，核PSNR提升3.35dB。
• FKP模型仅使用143K参数，显著少于Double-DIP（641K）和KernelGAN（151K），大幅降低内存占用与运行时间。
• FKP实现更稳定的优化：中间结果表现出更平滑的收敛过程，无振荡现象，而KernelGAN则存在不稳定的训练动态。
• 在具有非高斯核和噪声的真实图像上，KernelGAN-FKP保持强大性能，显著优于基线方法。
• 该方法在合成数据集与真实世界数据集上均提升了核估计精度，从而生成更清晰、更逼真的高分辨率图像重建结果。
• 通过冻结FKP参数并仅优化潜在变量，该方法确保所有生成核均有效且位于学习到的流形内，显著提升初始化与优化的稳定性。