[论文解读] Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks

Longguang Wang, Yingqian Wang+4 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出一种即插即用模块，使现有的仅针对特定尺度的超分辨率网络能够实现任意尺度的超分辨率，通过尺度感知特征适配和尺度感知上采样层，以及知识蒸馏范式。该方法在整数尺度上达到最先进性能，同时以极低的计算开销实现了对非整数和非对称尺度的精确处理。

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

研究动机与目标

• 解决现有超分辨率网络仅针对特定整数尺度因子（如 x2、x3、x4）进行训练的局限性。
• 实现对非整数和非对称尺度因子的高性能图像超分辨率，这些因素在以往工作中常被忽略。
• 开发一种可无缝集成到现有超分辨率网络中的方法，无需从头开始重新训练。
• 在保持或提升多种尺度因子下性能的同时，将额外的计算和内存开销最小化。

提出的方法

• 引入一个由多个尺度感知特征适配模块组成的即插即用模块，根据目标尺度动态调整特征表示。
• 设计一种尺度感知上采样层，根据所需尺度因子动态调整上采样过程。
• 提出一种尺度感知知识蒸馏范式，将预训练的特定尺度网络的知识迁移至任意尺度网络。
• 使用知识蒸馏训练任意尺度网络，其中特定尺度模型的输出指导统一网络的训练。
• 通过模块化设计确保与现有超分辨率架构的兼容性，使模块可轻松插入网络主干。
• 在训练过程中采用多尺度监督策略，以稳定不同尺度因子下的学习过程。

实验结果

研究问题

• RQ1 是否可以训练一个统一网络，使其能够对任意尺度因子（包括非整数和非对称尺度）执行超分辨率，同时在标准整数尺度上保持高性能？
• RQ2 如何有效将来自多个预训练特定尺度网络的知识迁移至单一任意尺度网络？
• RQ3 使用即插即用模块实现任意尺度超分辨率所需的最小额外计算和内存开销是多少？
• RQ4 所提方法是否能在不重新训练基础网络的情况下泛化至多种多样的尺度因子？

主要发现

• 所提出的即插即用模块使现有仅针对特定尺度的超分辨率网络无需重新训练即可泛化至非整数和非对称尺度。
• 该方法在标准整数尺度因子（如 x2、x3、x4）上达到最先进性能，同时扩展了对任意尺度的支持能力。
• 该模块引入的额外计算和内存开销极低，适用于实际部署。
• 尺度感知知识蒸馏范式有效实现了从特定尺度模型到统一网络的知识迁移，使统一网络在各自尺度上的性能可匹配或超越原始模型。
• 即插即用模块在多种尺度因子（包括 x1.5 和 x2.5 等具有挑战性的非整数尺度）上均保持了高图像质量。
• 该方法展现出强大的泛化能力，在多个基准数据集和尺度配置下均表现出一致的性能提升。