[论文解读] Unsupervised Degradation Representation Learning for Blind Super-Resolution

Longguang Wang, Yingqian Wang+5 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Image Processing Techniques参考文献 45被引用 23

一句话总结

该论文提出了一种用于盲超分辨率的无监督退化表征学习方法，通过对比学习学习判别性表征，避免了显式的退化估计。退化感知超分辨率（DASR）网络利用这些表征自适应调制特征，在合成图像和真实世界图像上均实现了最先进性能，且推理速度比迭代方法快7倍。

ABSTRACT

Most existing CNN-based super-resolution (SR) methods are developed based on an assumption that the degradation is fixed and known (e.g., bicubic downsampling). However, these methods suffer a severe performance drop when the real degradation is different from their assumption. To handle various unknown degradations in real-world applications, previous methods rely on degradation estimation to reconstruct the SR image. Nevertheless, degradation estimation methods are usually time-consuming and may lead to SR failure due to large estimation errors. In this paper, we propose an unsupervised degradation representation learning scheme for blind SR without explicit degradation estimation. Specifically, we learn abstract representations to distinguish various degradations in the representation space rather than explicit estimation in the pixel space. Moreover, we introduce a Degradation-Aware SR (DASR) network with flexible adaption to various degradations based on the learned representations. It is demonstrated that our degradation representation learning scheme can extract discriminative representations to obtain accurate degradation information. Experiments on both synthetic and real images show that our network achieves state-of-the-art performance for the blind SR task. Code is available at: https://github.com/LongguangWang/DASR.

研究动机与目标

• 解决基于CNN的超分辨率方法在真实退化与假设的固定退化（如双三次插值）不同时的性能下降问题。
• 消除盲超分辨率中对耗时且易错的退化估计的依赖。
• 以无监督方式学习退化类型的抽象、判别性表征。
• 使单个推理网络能够利用这些表征灵活适应各种未知退化。

提出的方法

• 使用对比学习训练退化编码器，将图像块映射到表征空间，使得来自同一图像的块（相同退化）被拉近，而来自不同图像的块（不同退化）被推开。
• 采用退化感知超分辨率（DASR）网络，利用学习到的退化表征预测卷积核和通道级调制系数，实现自适应特征优化。
• 采用对比损失函数，比较表征空间中的正样本对（来自同一图像的块）与负样本对（来自不同图像的块）。
• 仅使用低分辨率图像，在无真实退化标签的情况下，以无监督方式训练退化编码器。
• 应用数据增强（如裁剪、色彩抖动）生成对比学习的正样本对和负样本对。
• 通过动态卷积和通道注意力机制将退化表征集成到超分辨率网络中，实现自适应特征学习。

实验结果

研究问题

• RQ1 无监督表征学习是否能在无需显式退化估计的情况下有效捕捉判别性退化特征？
• RQ2 学习到的退化表征是否能使单个超分辨率网络在多种未知退化上实现良好泛化？
• RQ3 在表征空间中使用对比学习是否在准确性和效率方面优于像素级退化估计？
• RQ4 所提方法是否能在合成和真实世界盲超分辨率基准上均实现最先进性能？

主要发现

• 所提出的DASR网络在×4超分辨率的Set14数据集上实现了最先进PSNR性能，噪声水平为0时为27.99 dB，噪声水平为5时为27.25 dB，噪声水平为10时为26.57 dB。
• 在所有模糊核和噪声水平下，DASR平均优于IKC 0.8 dB，同时将推理时间减少7倍以上（70ms vs. 520ms）。
• 退化表征空间成功将不同模糊核和噪声水平聚类为判别性组别，如图6可视化所示。
• 在真实世界图像上，DASR生成的细节更清晰，模糊伪影更少，如图8所示。
• 无监督退化表征学习方案无需真实监督即可准确提取退化信息。
• 即使在涉及多种模糊核和噪声水平的复杂退化条件下，该方法仍能实现优异的视觉质量且伪影极少。