[论文解读] Learning A Single Network for Scale-Arbitrary Super-Resolution

Longguang Wang, Yingqian Wang+4 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Image Processing Techniques参考文献 49被引用 7

一句话总结

本文提出一种即插即用模块，通过条件卷积实现动态、尺度感知的滤波器生成，使现有单图像超分辨率网络能够实现任意尺度的超分辨率——包括非整数和非对称尺度因子。该方法在整数尺度上达到最先进性能，同时以极低的计算开销实现端到端、高效的任意尺度超分辨率。

ABSTRACT

Recently, the performance of single image super-resolution (SR) has been significantly improved with powerful networks. However, these networks are developed for image SR with a single specific integer scale (e.g., x2;x3,x4), and cannot be used for non-integer and asymmetric SR. In this paper, we propose to learn a scale-arbitrary image SR network from scale-specific networks. Specifically, we propose a plug-in module for existing SR networks to perform scale-arbitrary SR, which consists of multiple scale-aware feature adaption blocks and a scale-aware upsampling layer. Moreover, we introduce a scale-aware knowledge transfer paradigm to transfer knowledge from scale-specific networks to the scale-arbitrary network. Our plug-in module can be easily adapted to existing networks to achieve scale-arbitrary SR. These networks plugged with our module can achieve promising results for non-integer and asymmetric SR while maintaining state-of-the-art performance for SR with integer scale factors. Besides, the additional computational and memory cost of our module is very small.

研究动机与目标

• 解决现有超分辨率网络仅针对特定整数尺度因子进行训练、无法处理非整数或非对称缩放的问题。
• 使单一模型能够在包括非整数和非对称情况在内的任意尺度因子上实现高质量超分辨率。
• 设计一种轻量化、即插即用的模块，可无缝集成到现有网络中，无需微调主干网络。
• 与依赖元学习和大内存开销的现有方法（如 Meta-SR）相比，降低计算和内存成本。
• 提供端到端的任意尺度超分辨率解决方案，避免因后处理插值导致的性能下降。

提出的方法

• 引入一种即插即用模块，可附加到任意预训练的超分辨率网络上，以实现任意尺度的超分辨率。
• 设计多个尺度感知的特征适配模块，通过目标尺度因子对特征图进行条件化，以提升任意尺度下的特征表示能力。
• 实现一种尺度感知的上采样层，利用条件卷积基于输入尺度生成动态滤波器。
• 使用条件卷积生成特定于尺度的滤波器，使网络能够自适应地调整其滤波行为以适配任意尺度因子。
• 与主干网络端到端联合训练，实现对任意尺度下特征与上采样过程的联合优化。
• 将该模块应用于当前最先进网络（如 RCAN、RDN 和 EDSR），在各类尺度类型下均实现一致的性能提升。

实验结果

研究问题

• RQ1 是否可以训练单一深度学习模型，实现对任意尺度因子（包括非整数和非对称情况）的超分辨率，而无需为每个尺度单独训练模型？
• RQ2 如何有效将尺度信息整合到特征学习和上采样过程中，以提升在多样化尺度因子下的性能表现？
• RQ3 能否设计一种轻量化、即插即用的模块，在计算和内存成本极低的前提下，增强现有针对特定尺度的网络以实现任意尺度超分辨率？
• RQ4 所提方法在非整数和非对称尺度因子上的性能与现有方法（如 Meta-SR）相比如何？
• RQ5 所提方法在保持或提升标准整数尺度因子（如 ×2、×3、×4）性能的同时，是否能有效扩展至任意尺度？

主要发现

• 在 Manga109 数据集上，ArbRCAN 在非对称缩放（×2.5，×3.5）下达到 37.93 dB 的 PSNR，优于 Meta-RCAN (+Bicubic) 的 37.80 dB 和 Meta-RCAN (+Bicubic+ft) 的 37.80 dB。
• 所提方法将内存开销从 Meta-RCAN 的 2.8GB 降低至 0.7GB，推理时间从 0.61s 减少至 0.29s，显著提升了效率。
• 在 Urban100 数据集上，ArbRCAN 在 ×3.5 非对称缩放下达到 34.41 dB 的 PSNR，显著优于基线 RCAN 和使用双三次插值后处理的 Meta-RCAN。
• 视觉对比显示，与其它方法相比，ArbRCAN 更好地保留了细节，尤其在条纹和文字等纹理区域减少了模糊伪影。
• 该即插即用模块在标准整数尺度因子（×2、×3、×4）上保持了最先进性能，PSNR 值与原始网络相当或更优。
• 该方法是首个实现非对称缩放下端到端、任意尺度超分辨率的方法，彻底消除了对后处理插值的依赖。