[论文解读] A Practical Contrastive Learning Framework for Single-Image Super-Resolution

Gang Wu, Junjun Jiang+1 more|arXiv (Cornell University)|Nov 27, 2021

Advanced Image Processing Techniques参考文献 65被引用 10

一句话总结

本文提出 PCL-SR，一种面向单图像超分辨率的实用对比学习框架，通过在频域空间生成信息丰富的正样本与困难负样本，并采用任务特定的可学习嵌入网络而非预训练模型。该方法提升了纹理保真度与泛化能力，在微调现有 SISR 模型时，于多个基准测试中达到最先进性能。

ABSTRACT

Contrastive learning has achieved remarkable success on various high-level tasks, but there are fewer contrastive learning-based methods proposed for low-level tasks. It is challenging to adopt vanilla contrastive learning technologies proposed for high-level visual tasks to low-level image restoration problems straightly. Because the acquired high-level global visual representations are insufficient for low-level tasks requiring rich texture and context information. In this paper, we investigate the contrastive learning-based single image super-resolution from two perspectives: positive and negative sample construction and feature embedding. The existing methods take naive sample construction approaches (e.g., considering the low-quality input as a negative sample and the ground truth as a positive sample) and adopt a prior model (e.g., pre-trained VGG model) to obtain the feature embedding. To this end, we propose a practical contrastive learning framework for SISR, named PCL-SR. We involve the generation of many informative positive and hard negative samples in frequency space. Instead of utilizing an additional pre-trained network, we design a simple but effective embedding network inherited from the discriminator network which is more task-friendly. Compared with existing benchmark methods, we re-train them by our proposed PCL-SR framework and achieve superior performance. Extensive experiments have been conducted to show the effectiveness and technical contributions of our proposed PCL-SR thorough ablation studies. The code and pre-trained models can be found at https://github.com/Aitical/PCL-SISR.

研究动机与目标

• 为解决低层次图像恢复任务（如超分辨率）中缺乏有效对比学习框架的问题。
• 克服在 SISR 任务中使用预训练网络与简单样本构建方式在对比学习中的局限性。
• 通过频域变换生成困难负样本与优化后的正样本，提升纹理准确度与泛化能力。
• 设计一种面向任务的、可学习的嵌入网络，以适应退化特定特征，而非依赖固定预训练模型。
• 在多个 SISR 模型与数据集上验证 PCL-SR 框架的通用性与有效性。

提出的方法

• 提出一种新颖的数据增强策略，通过锐化真实图像生成多个正样本，通过轻微模糊真实图像生成困难负样本。
• 对生成的样本应用频域变换（如哈尔小波与 FFT），以增强高频分量并引导对比损失。
• 设计一种源自 GAN 类框架判别器的可学习嵌入网络，与主超分网络端到端联合训练，以捕捉任务特定特征。
• 在频域嵌入空间中定义对比损失，其中正样本对为真实图像的锐化版本，负样本对为真实图像的模糊版本。
• 引入超参数 α 以平衡对比损失与重建损失，优化感知质量与保真度之间的权衡。
• 通过消融研究与跨域评估验证各组件的有效性，包括样本生成、嵌入设计与变换类型。

实验结果

研究问题

• RQ1 通过受控退化生成困难负样本，能否提升超分辨率图像的纹理质量？
• RQ2 通过锐化等方法优化正样本，能否增强 SISR 模型的泛化能力与感知质量？
• RQ3 可学习的、任务特定的嵌入网络能否在低层次图像恢复任务中超越固定预训练网络？
• RQ4 频域表示学习如何影响对比学习在超分辨率任务中的性能表现？
• RQ5 当使用所提出的对比目标对现有 SISR 模型进行微调时，PCL-SR 框架在多大程度上提升了模型性能？

主要发现

• 使用 PCL-SR 对现有 SISR 模型（如 RCAN）进行微调后，在所有基准数据集（包括 Set5、Set14、Urban100 与 Manga109）上均取得更优性能。
• 通过轻微模糊生成的困难负样本显著提升了纹理准确度，并减少了不切实际的平均化输出。
• 通过锐化优化正样本可增强模型泛化能力，尤其在 Manga109 的跨域测试中表现明显。
• 哈尔小波变换在频域表示中优于 FFT，性能相当但因特征图尺寸显著减小，训练速度更快。
• 平衡对比损失与重建损失的最优超参数 α 为 0.1，更高值会降低性能。
• 使用预训练嵌入网络可进一步提升性能，表明利用预训练模型中的隐式知识是未来一个有前景的方向。