[论文解读] A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution

Zhixiong Yang, Jingyuan Xia+6 more|arXiv (Cornell University)|Apr 24, 2024

Advanced Image Processing Techniques被引用 4

一句话总结

该论文提出了一种用于无监督盲图像超分的动态核先验（DKP）模型，通过马尔可夫链蒙特卡洛（MCMC）采样和基于网络的拉姆齐动力学实现无需预训练、即插即用的核估计。DKP通过学习自适应核先验，在高斯模糊和运动模糊场景下均实现了最先进性能，优于现有方法，同时保持了相当的运行时间和内存消耗。

ABSTRACT

Deep learning-based methods have achieved significant successes on solving the blind super-resolution (BSR) problem. However, most of them request supervised pre-training on labelled datasets. This paper proposes an unsupervised kernel estimation model, named dynamic kernel prior (DKP), to realize an unsupervised and pre-training-free learning-based algorithm for solving the BSR problem. DKP can adaptively learn dynamic kernel priors to realize real-time kernel estimation, and thereby enables superior HR image restoration performances. This is achieved by a Markov chain Monte Carlo sampling process on random kernel distributions. The learned kernel prior is then assigned to optimize a blur kernel estimation network, which entails a network-based Langevin dynamic optimization strategy. These two techniques ensure the accuracy of the kernel estimation. DKP can be easily used to replace the kernel estimation models in the existing methods, such as Double-DIP and FKP-DIP, or be added to the off-the-shelf image restoration model, such as diffusion model. In this paper, we incorporate our DKP model with DIP and diffusion model, referring to DIP-DKP and Diff-DKP, for validations. Extensive simulations on Gaussian and motion kernel scenarios demonstrate that the proposed DKP model can significantly improve the kernel estimation with comparable runtime and memory usage, leading to state-of-the-art BSR results. The code is available at https://github.com/XYLGroup/DKP.

研究动机与目标

• 为解决现有盲超分（BSR）方法中依赖昂贵的配对LR-HR数据集进行监督预训练的局限性。
• 开发一种无监督、即插即用的核估计框架，避免使用标注数据进行训练。
• 通过自适应、数据驱动的先验，提升在病态、非凸BSR问题中的核估计精度。
• 实现与现有图像恢复模型（如DIP和扩散模型）的兼容性，无需架构修改。
• 在无需依赖真实HR图像的前提下，于高斯模糊和运动模糊场景下均实现最先进性能。

提出的方法

• DKP模型由两个模块组成：随机核采样（RKS）和先验核估计（PKE）。
• RKS模块通过在随机核分布上进行MCMC采样，无监督地生成合理且自适应的核先验。
• PKE模块采用基于网络的拉姆齐动力学（NLD）优化策略，利用RKS生成的先验和LR重建误差的数据一致性来估计模糊核。
• NLD更新机制通过平衡先验知识与观测数据，确保收敛至准确的核估计。
• DKP通过即插即用集成方式嵌入现有恢复模型——DIP和扩散模型，替代或增强其核建模组件。
• 整个系统采用交替优化方案端到端训练，联合优化HR图像重建与核估计，无需预训练。

实验结果

研究问题

• RQ1 能否在不依赖配对LR-HR训练数据的前提下，有效学习无监督核先验？
• RQ2 在随机核分布上进行MCMC采样能否生成合理且自适应的先验，从而提升盲超分中的核估计性能？
• RQ3 通过NLD优化集成动态核先验，是否能提升在高斯模糊和运动模糊场景下的图像恢复性能？
• RQ4 与现有预训练或监督BSR方法相比，DKP在性能、运行时间和内存使用方面表现如何？
• RQ5 DKP能否无缝集成到DIP和扩散模型等现成恢复模型中，而无需修改其架构？

主要发现

• 在运动模糊场景下，DKP模型的核PSNR达到56.76；在高斯模糊场景下达到56.20，显著优于现有无监督方法。
• 在DIP-DKP配置下，该方法实现图像PSNR为25.98、SSIM为0.6878，两项指标均优于Double-DIP和DIP-FKP。
• Diff-DKP变体在运动模糊数据上实现最先进图像PSNR 26.76和SSIM 0.7400，展现出卓越的恢复质量。
• 消融实验表明，若移除RKS模块，核估计精度显著下降（例如，核PSNR从56.76降至34.78），证明其关键作用。
• DKP模型保持了适中的计算成本：在RTX 3090上处理512×512图像恢复耗时92秒，内存占用11 GB，与Double-DIP和DIP-FKP相当。
• PKE模块在不同网络深度（3–7层）和宽度（100–1000单元）下均表现出稳健泛化能力，表明对架构设计不敏感。