[论文解读] Deep Constrained Least Squares for Blind Image Super-Resolution

Ziwei Luo, Haibin Huang+4 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出 DCLS-SR，一种新颖的盲图像超分辨率方法，通过将退化模型重新表述为在低分辨率空间中估计模糊核，从而实现更精确的核估计并保留空间核结构。该方法引入了动态深度线性核（DDLK）以实现自适应核生成，并采用深度约束最小二乘（DCLS）反卷积模块在特征空间中进行处理，实现了在 DIV2KRK 等基准测试上的最先进性能，PSNR 达 28.99 dB，SSIM 达 0.7964。

ABSTRACT

In this paper, we tackle the problem of blind image super-resolution(SR) with a reformulated degradation model and two novel modules. Following the common practices of blind SR, our method proposes to improve both the kernel estimation as well as the kernel-based high-resolution image restoration. To be more specific, we first reformulate the degradation model such that the deblurring kernel estimation can be transferred into the low-resolution space. On top of this, we introduce a dynamic deep linear filter module. Instead of learning a fixed kernel for all images, it can adaptively generate deblurring kernel weights conditional on the input and yield a more robust kernel estimation. Subsequently, a deep constrained least square filtering module is applied to generate clean features based on the reformulation and estimated kernel. The deblurred feature and the low input image feature are then fed into a dual-path structured SR network and restore the final high-resolution result. To evaluate our method, we further conduct evaluations on several benchmarks, including Gaussian8 and DIV2KRK. Our experiments demonstrate that the proposed method achieves better accuracy and visual improvements against state-of-the-art methods.

研究动机与目标

• 解决由于混叠和欠采样模糊性导致的盲图像超分辨率中模糊核估计不准确的问题。
• 克服核拉伸策略破坏模糊核中空间关系的局限性。
• 开发一种基于原则、抗噪声的反卷积方法，直接在深度特征上操作以恢复清晰的高分辨率图像。
• 通过将核估计与图像上采样解耦，提升在多样化退化核上的性能。
• 在包括 Gaussian8 和 DIV2KRK 在内的标准基准上实现最先进性能。

提出的方法

• 重新表述经典退化模型，将模糊核估计转移到低分辨率空间，消除混叠模糊性。
• 引入动态深度线性核（DDLK）模块，根据输入特征自适应生成核权重，提升鲁棒性与学习效率。
• 提出深度约束最小二乘（DCLS）反卷积模块，利用估计的核在通道维度上对特征进行去模糊处理，保留空间核结构。
• 在特征域而非 RGB 空间中应用 DCLS，避免核拉伸，实现原理严谨、抗噪声的恢复。
• 在双路结构网络中将去模糊特征与原始低分辨率特征融合，用于最终高分辨率图像重建。
• 采用双路网络联合优化特征并重建最终的高分辨率图像，同时利用去模糊特征与原始特征。

Figure 1 : Kernel reformulation examples. The top row and middle row are the LR images and the corresponding primitive kernels. The bottom row is the reformulated kernels.

实验结果

研究问题

• RQ1 将退化模型重新表述为在低分辨率空间中估计模糊核，是否能提升核估计精度并减少模糊性？
• RQ2 与固定或学习得到的核相比，动态深度线性核模块是否能提供更灵活且准确的核预测？
• RQ3 在特征空间中应用约束最小二乘反卷积是否优于传统去模糊方法在盲超分辨率中的表现？
• RQ4 所提方法是否能在不进行核拉伸的情况下实现更优性能，从而保留空间核关系？
• RQ5 该方法在未知模糊核和真实图像的现实退化场景下表现如何？

主要发现

• 所提 DCLS-SR 方法在 DIV2KRK 基准上达到 28.99 dB 的 PSNR 和 0.7964 的 SSIM，优于当前最先进方法。
• 消融实验表明，与基线相比，DCLS 反卷积模块带来 +0.15 dB 的 PSNR 提升，验证了其有效性。
• 在特征空间中应用 DCLS 模块可获得更优结果（28.99 dB PSNR），优于在 RGB 空间中应用（28.94 dB PSNR），表明特征级处理的优势。
• 在真实历史图像上的视觉对比显示，DCLS-SR 生成的边缘更清晰，视觉效果更佳，优于 LapSRN 和 DANv2。
• 动态深度线性核（DDLK）生成的核估计比先前的图像特定方法（如 KernelGAN 和 Correction Filter）更准确且更具灵活性。
• 该方法在包括高斯核和真实世界模糊在内的多种退化核上均保持强大性能，展现出良好的鲁棒性。

Figure 2 : Architecture of the dynamic deep linear kernel.