[论文解读] ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic

Xiangtao Kong, Hengyuan Zhao+2 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Image Processing Techniques参考文献 6被引用 11

一句话总结

ClassSR 提出了一种通用框架，通过将图像子区域按恢复难度分类为简单、中等或困难三类，并相应地应用轻量级、中等或全容量的超分辨率（SR）网络，从而加速大尺寸图像（2K–8K）上的超分辨率网络推理。通过联合训练分类模块并引入两种新型损失函数（Class-Loss 和 Average-Loss），该方法在不损失性能的前提下，将计算量（FLOPs）最高降低50%，并可泛化至其他低层次视觉任务，如去噪。

ABSTRACT

We aim at accelerating super-resolution (SR) networks on large images (2K-8K). The large images are usually decomposed into small sub-images in practical usages. Based on this processing, we found that different image regions have different restoration difficulties and can be processed by networks with different capacities. Intuitively, smooth areas are easier to super-solve than complex textures. To utilize this property, we can adopt appropriate SR networks to process different sub-images after the decomposition. On this basis, we propose a new solution pipeline -- ClassSR that combines classification and SR in a unified framework. In particular, it first uses a Class-Module to classify the sub-images into different classes according to restoration difficulties, then applies an SR-Module to perform SR for different classes. The Class-Module is a conventional classification network, while the SR-Module is a network container that consists of the to-be-accelerated SR network and its simplified versions. We further introduce a new classification method with two losses -- Class-Loss and Average-Loss to produce the classification results. After joint training, a majority of sub-images will pass through smaller networks, thus the computational cost can be significantly reduced. Experiments show that our ClassSR can help most existing methods (e.g., FSRCNN, CARN, SRResNet, RCAN) save up to 50% FLOPs on DIV8K datasets. This general framework can also be applied in other low-level vision tasks.

研究动机与目标

• 解决由于输入尺寸增大导致的超分辨率（SR）计算成本过高的问题，其原因是 FLOPs 随输入尺寸呈二次增长。
• 克服固定架构 SR 网络的局限性，即无论内容难易程度如何，均对所有图像区域应用统一复杂度。
• 开发一种通用、即插即用的框架，可在不改变网络架构的前提下加速现有 SR 模型。
• 通过根据图像区域的恢复难度分配不同网络容量，实现自适应推理。
• 证明该框架可泛化至其他低层次视觉任务，如图像去噪。

提出的方法

• 将大尺寸输入图像分解为小尺寸子图像（例如 32×32），以实现局部化处理。
• 引入双模块流水线：Class-Module 负责将子图像分类为难度等级（简单/中等/困难），SR-Module 则使用包含多个容量各异的 SR 分支的网络容器。
• 设计双损失训练策略：Class-Loss 促使每个子图像被正确分类，而 Average-Loss 防止模型对任一类产生偏见。
• 首先使用 L1 损失训练 SR-Module 进行重建，然后使用全部三种损失（L1、Class-Loss、Average-Loss）微调 Class-Module，最后进行端到端的联合优化。
• 通过调整通道数和层数构建不同 FLOP 水平的 SR 分支，确保有效的能力扩展。
• 将该框架应用于多种 SR 模型（FSRCNN、CARN、SRResNet、RCAN），并扩展至去噪任务，以 DnCNN 作为基础网络。

实验结果

研究问题

• RQ1 能否有效根据恢复难度对大规模超分辨率输入中的子图像进行分类，以实现自适应推理？
• RQ2 如何训练分类头，使子图像被分配至合适的 SR 网络分支，同时不降低重建质量？
• RQ3 需要哪些损失函数才能确保在不同图像复杂度等级之间实现平衡且准确的分类？
• RQ4 ClassSR 在多种 SR 模型上最多可将 FLOPs 降低多少，同时保持 PSNR 性能不变？
• RQ5 该框架是否可泛化至超分辨率之外的其他低层次视觉任务，这些任务具有可变的恢复难度？

主要发现

• 在 DIV8K 数据集上，ClassSR 在多个 SR 模型（包括 FSRCNN、CARN、SRResNet 和 RCAN）上将 FLOPs 最高降低 50%，且 PSNR 无下降。
• 在 Test8K 测试集上，ClassSR-FSRCNN 达到了与原始 FSRCNN 相同的 PSNR，但仅使用了 55% 的 FLOPs。
• Class-Loss 对模型收敛至关重要；若无 Class-Loss，由于 Average-Loss 的影响，模型会退化为随机分类。
• Average-Loss 防止模型过度拟合至最复杂的分支，避免陷入所有输入均被导向最重网络的不良局部最优解。
• 该框架对类别数量具有鲁棒性：即使仅使用两类，性能依然良好，但增加类别数可略微提升分类准确率。
• ClassSR 可泛化至其他低层次任务：当应用于以 DnCNN 为基础网络的图像去噪任务时，其 PSNR 高于原始模型，同时在 Test4K 上将 FLOPs 降低了 33%。