[论文解读] Fully $1 imes1$ Convolutional Network for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

该论文提出SCNet，一种用于轻量级图像超分的全1×1卷积网络，通过使用无参数的空间移位操作实现局部特征聚合，克服了标准1×1卷积的局限性。尽管仅使用1×1卷积，SCNet在参数量和FLOPs显著减少的情况下实现了最先进性能，在基准数据集上优于现有轻量级模型。

ABSTRACT

Deep models have achieved significant process on single image super-resolution (SISR) tasks, in particular large models with large kernel ($3 imes3$ or more). However, the heavy computational footprint of such models prevents their deployment in real-time, resource-constrained environments. Conversely, $1 imes1$ convolutions bring substantial computational efficiency, but struggle with aggregating local spatial representations, an essential capability to SISR models. In response to this dichotomy, we propose to harmonize the merits of both $3 imes3$ and $1 imes1$ kernels, and exploit a great potential for lightweight SISR tasks. Specifically, we propose a simple yet effective fully $1 imes1$ convolutional network, named Shift-Conv-based Network (SCNet). By incorporating a parameter-free spatial-shift operation, it equips the fully $1 imes1$ convolutional network with powerful representation capability while impressive computational efficiency. Extensive experiments demonstrate that SCNets, despite its fully $1 imes1$ convolutional structure, consistently matches or even surpasses the performance of existing lightweight SR models that employ regular convolutions. The code and pre-trained models can be found at https://github.com/Aitical/SCNet.

研究动机与目标

• 为在资源受限设备上部署基于深度学习的超分辨率模型，通过降低模型复杂度来应对挑战。
• 在保持计算效率的同时，克服1×1卷积固有的局限性——缺乏局部空间特征聚合能力。
• 设计一种轻量但强大的SISR架构，在极低参数量和FLOPs下维持高性能。
• 探索在不依赖3×3等较大卷积核的情况下，构建全1×1卷积网络用于SISR的可行性。
• 提供一种可扩展、参数高效的主干网络，可与注意力机制和上采样模块无缝集成。

提出的方法

• 提出Shift-Conv（SC）层，通过非参数化的空间移位操作扩展1×1卷积，实现在空间邻域上的局部特征聚合。
• 将输入特征图划分为通道组，并在多个方向上应用空间移位，以在不增加参数量或FLOPs的前提下扩展有效感受野。
• 构建残差块SC-ResBlock，以SC层作为基本构建模块，实现深层堆叠且计算成本极低。
• 提出SCNet，一种由多个SC-ResBlocks组成的全1×1卷积网络，包含三种变体：SCNet-T（微型）、SCNet-B（基础）和SCNet-L（大型），支持深度与宽度的可扩展性。
• 采用仅使用1×1卷积的简化重建模块，并在SCNet框架内评估多种上采样策略（如pixelshuffle、双线性、最近邻）。
• 支持与注意力机制（通道注意力、空间注意力、像素级注意力）的集成，以进一步提升性能，同时避免过度增加模型复杂度。

实验结果

研究问题

• RQ1 全1×1卷积网络是否能在不使用3×3等较大卷积核的情况下，在图像超分辨率任务中实现有竞争力的性能？
• RQ2 无参数的空间移位操作是否能有效恢复1×1卷积中丢失的局部特征聚合能力？
• RQ3 所提出的SCNet是否在模型效率与性能之间实现了优于现有轻量级SISR模型的平衡？
• RQ4 SCNet架构在不同上采样模块和注意力机制下的泛化能力如何？
• RQ5 SC层是否可用于构建可扩展的轻量级架构，在极低FLOPs和参数量下保持高性能？

主要发现

• SCNet-T在Manga109 ×4数据集上达到28.75 dB PSNR，优于其他参数少于100K的轻量级模型。
• 采用pixelshuffle上采样模块的SCNet在Urban100和Manga109上分别较次优方法提升0.10 dB和0.11 dB。
• 空间注意力机制的集成带来性能提升，其效果优于通道注意力，原因在于参数更少且效率更高。
• SCNet在8倍缩放因子下仍保持强劲性能，展现出在高要求超分辨率任务中的鲁棒性。
• 所提出的SCNet在基准数据集上实现了SOTA性能，同时相比现有轻量级模型显著降低了FLOPs和参数量。
• 大量消融实验验证了空间移位操作能有效扩展感受野并增强表征能力，且不增加计算成本。