[论文解读] Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning

Xuehui Wang, Qing Wang+4 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Image Processing Techniques参考文献 48被引用 14

一句话总结

本文提出A2F-SR，一种轻量级单图像超分辨率网络，通过来自前层的注意力辅助特征（A2F）增强特征学习。通过将特征投影到公共空间并应用通道注意力以过滤冗余信息，A2F-SR在参数量低于320k的情况下实现了SOTA性能，在所有缩放倍数下均优于现有方法的PSNR和SSIM指标。

ABSTRACT

Despite convolutional network-based methods have boosted the performance of single image super-resolution (SISR), the huge computation costs restrict their practical applicability. In this paper, we develop a computation efficient yet accurate network based on the proposed attentive auxiliary features (A$^2$F) for SISR. Firstly, to explore the features from the bottom layers, the auxiliary feature from all the previous layers are projected into a common space. Then, to better utilize these projected auxiliary features and filter the redundant information, the channel attention is employed to select the most important common feature based on current layer feature. We incorporate these two modules into a block and implement it with a lightweight network. Experimental results on large-scale dataset demonstrate the effectiveness of the proposed model against the state-of-the-art (SOTA) SR methods. Notably, when parameters are less than 320k, A$^2$F outperforms SOTA methods for all scales, which proves its ability to better utilize the auxiliary features. Codes are available at https://github.com/wxxxxxxh/A2F-SR.

研究动机与目标

• 为解决基于深度CNN的超分辨率模型在移动设备等资源受限环境中的高计算成本问题。
• 通过有效利用多层前序特征，提升轻量级SISR网络的性能。
• 设计一种参数高效的架构，在不依赖大模型或复杂压缩技术的前提下保持高精度。
• 证明：当通过注意力机制正确融合时，所有前序层的辅助特征可显著提升轻量级设置下的性能。

提出的方法

• 提出一种注意力辅助特征（A2F）模块，利用1×1卷积将所有前序层的特征投影到共享特征空间。
• 基于当前层的特征图，对投影后的辅助特征通道应用通道注意力，以动态加权不同通道的重要性。
• 将A2F模块集成到轻量级残差网络架构中，实现在多尺度上的高效特征优化。
• 采用像素重组（pixel shuffle）实现子像素转解卷积，将特征上采样至高分辨率输出。
• 采用渐进式模块设计与残差连接，以稳定深度网络的训练并提升特征学习能力。
• 通过L1损失与感知损失联合优化网络，以增强重建图像在像素级与结构上的保真度。

实验结果

研究问题

• RQ1 能否在轻量级SISR网络中有效利用所有前序层的辅助特征以提升性能？
• RQ2 与标准跳跃连接相比，对投影后的辅助特征应用通道注意力是否能实现更优的特征选择并提升重建质量？
• RQ3 在参数量少于320k的情况下，轻量级网络是否能在多种缩放因子下超越现有SOTA方法的PSNR与SSIM表现？
• RQ4 在参数效率与性能方面，所提出的A2F模块相较于其他特征融合机制表现如何？

主要发现

• A2F-SR在参数量少于320k的情况下，于Manga109数据集×2缩放倍数下达到34.23 dB的PSNR，优于该参数范围内的所有SOTA方法。
• 在×4缩放倍数下，A2F-SR达到32.32 dB的PSNR，参数量为1.37M，其PSNR与SSIM均优于AWSRN与CARN等SOTA模型，且参数更少。
• 消融实验证实，特征投影与通道注意力两个组件均不可或缺，完整A2F模块对性能提升有显著贡献。
• 与FSRCNN和SRCNN等基线模型相比，A2F-SR在×2缩放倍数下PSNR提升达3.5 dB，同时保持低参数量与低推理成本。
• A2F-L变体在×2缩放倍数下以1.37M参数量实现34.54 dB的PSNR，表明其在更高复杂度下仍具备强大性能。
• 所提方法在模型大小与性能之间实现了最佳权衡，尤其在参数量低于1M的范围内，充分证明了其高效性与可扩展性。