[论文解读] Blind Image Super-Resolution via Contrastive Representation Learning

Jiahui Zhang, Shijian Lu+2 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Image Processing Techniques参考文献 57被引用 34

一句话总结

CRL-SR 引入对比解耦编码和对比特征精炼，以在多模态且空间变化的退化条件下实现盲超分辨率，并且无需显式的退化估计。

ABSTRACT

Image super-resolution (SR) research has witnessed impressive progress thanks to the advance of convolutional neural networks (CNNs) in recent years. However, most existing SR methods are non-blind and assume that degradation has a single fixed and known distribution (e.g., bicubic) which struggle while handling degradation in real-world data that usually follows a multi-modal, spatially variant, and unknown distribution. The recent blind SR studies address this issue via degradation estimation, but they do not generalize well to multi-source degradation and cannot handle spatially variant degradation. We design CRL-SR, a contrastive representation learning network that focuses on blind SR of images with multi-modal and spatially variant distributions. CRL-SR addresses the blind SR challenges from two perspectives. The first is contrastive decoupling encoding which introduces contrastive learning to extract resolution-invariant embedding and discard resolution-variant embedding under the guidance of a bidirectional contrastive loss. The second is contrastive feature refinement which generates lost or corrupted high-frequency details under the guidance of a conditional contrastive loss. Extensive experiments on synthetic datasets and real images show that the proposed CRL-SR can handle multi-modal and spatially variant degradation effectively under blind settings and it also outperforms state-of-the-art SR methods qualitatively and quantitatively.

研究动机与目标

• 应对真实场景下的盲SR，在多模态、空间变化的退化条件下的挑战。
• 提取由低分辨率（LR）和高分辨率（HR）图像共享的分辨率不变特征，以减轻退化影响。
• 利用学习到的先验恢复丢失的高频细节，生成高保真的SR图像。
• 通过利用对比表示学习来避免对退化模型的显式估计。

提出的方法

• 提出对比解耦编码（CDE），通过两个编码器在双向对比损失下从上采样后的 LR 和 HR 图像中提取分辨率不变特征。
• 引入对比特征精炼（CFR），在条件对比损失的引导下生成丢失的高频细节。
• 使用双向的 InfoNCE 风格损失来最大化 LR 和 HR 不变特征之间的互信息。
• 定义一个条件对比损失，以分辨率不变的 LR 特征为条件，指导 SR 特征精炼和图像重建。
• 优化一个包含 CFR 损失、SR 重建损失和 HR 重建损失的组合目标，以确保与 HR 内容的一致性。
• 将退化建模为 I_l = (I_h ⊗ k) ↓_s + n，并将重点放在学习不变表示而不是估计 k 和 n。

实验结果

研究问题

• RQ1 一个对比学习框架能否在盲 SR 中将分辨率不变特征从退化中解耦？
• RQ2 将对比精炼条件化到 LR 不变特征上是否能提升高频细节的恢复？
• RQ3 对比解耦编码与对比特征精炼在处理多模态、空间变化退化方面如何互补？
• RQ4 在复杂真实退化条件下，所提的 CRL-SR 是否能优于现有的盲 SR 和非盲 SR 方法？

主要发现

• CRL-SR 在合成及真实图像的盲多模态退化条件下，在定性与定量方面均优于最先进的 SR 方法。
• 消融研究表明，CDE 与 CFR 都有助于 PSNR 增益，完整的 CRL-SR 达到最佳性能。
• 双向对比损失有效提取分辨率不变特征，降低退化影响。
• 条件对比损失使在退化过程中丢失的高频细节得以生成，提升细节保真度。
• 在应对空间变化退化和未见的多模态退化方面，CRL-SR 比 RCAN、IKC 和 DASR 在实验中表现更好。