[论文解读] Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang+2 more|arXiv (Cornell University)|Mar 25, 2023

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出TCSR，一种轻量级单图像超分辨率网络，通过集成邻域注意力（NA）模块，以更少的参数和FLOPs高效捕捉长距离依赖关系，替代标准卷积中的大卷积核。通过将NA与采用空间移位操作的增强型前馈网络（EFFN）结合，TCSR在轻量级SISR基准上实现了最先进性能，同时保持了较低的计算成本。

ABSTRACT

In recent years, the use of large convolutional kernels has become popular in designing convolutional neural networks due to their ability to capture long-range dependencies and provide large receptive fields. However, the increase in kernel size also leads to a quadratic growth in the number of parameters, resulting in heavy computation and memory requirements. To address this challenge, we propose a neighborhood attention (NA) module that upgrades the standard convolution with a self-attention mechanism. The NA module efficiently extracts long-range dependencies in a sliding window pattern, thereby achieving similar performance to large convolutional kernels but with fewer parameters. Building upon the NA module, we propose a lightweight single image super-resolution (SISR) network named TCSR. Additionally, we introduce an enhanced feed-forward network (EFFN) in TCSR to improve the SISR performance. EFFN employs a parameter-free spatial-shift operation for efficient feature aggregation. Our extensive experiments and ablation studies demonstrate that TCSR outperforms existing lightweight SISR methods and achieves state-of-the-art performance. Our codes are available at \url{https://github.com/Aitical/TCSR}.

研究动机与目标

• 解决轻量级SISR模型中大卷积核带来的高计算成本和参数增长问题。
• 设计一种参数高效的机制，在不增加模型复杂度的前提下捕捉长距离依赖关系。
• 改进前馈网络中的局部特征聚合，以提升超分辨率任务的性能。
• 在极低FLOPs和参数量下实现轻量级图像超分辨率的最先进性能。

提出的方法

• 提出一种邻域注意力（NA）模块，通过在滑动窗口内应用自注意力机制，替代标准卷积，实现参数量与卷积核大小的解耦。
• 采用滑动窗口模式高效提取长距离依赖关系，避免大卷积核带来的参数量二次增长问题。
• 引入一种增强型前馈网络（EFFN），通过无参数的空间移位操作实现有效的局部特征聚合。
• 采用浅层特征提取模块，后接堆叠的NA模块与EFFN，实现深层特征学习。
• 使用3×3卷积和像素重组（pixelshuffle）进行高分辨率重建，以保持计算效率。
• 设计TCSR为可扩展的轻量级架构，支持大卷积核尺寸，同时不牺牲模型紧凑性。

Figure 1 : Illustration of the feature extraction. (a) Local pixels are projected and summed as the target output. (b) Neighboring pixels are projected and assembled by the self-attention mechanism.

实验结果

研究问题

• RQ1 能否高效地将自注意力机制集成到卷积层中，以替代大卷积核，同时减少参数量和FLOPs？
• RQ2 所提出的邻域注意力（NA）模块在建模长距离依赖关系方面与标准大卷积核相比表现如何？
• RQ3 采用空间移位操作的增强型前馈网络（EFFN）在轻量级SISR中对局部特征聚合的改进程度如何？
• RQ4 TCSR架构是否能在保持计算高效的同时实现最先进性能，适用于边缘设备部署？
• RQ5 TCSR模型在不同卷积核尺寸和模型深度下的可扩展性如何？

主要发现

• 在Manga109 ×4基准上，TCSR仅使用1.03M参数即达到29.43 dB的PSNR，优于现有轻量级SISR模型。
• 所提出的TCSR-B变体在880K参数和52 GFLOPs下达到29.30 dB PSNR，相比SwinIR-light（297ms vs. 52ms）显著降低延迟。
• EFFN模块在SwinIR-light和TCSR上均提升了性能，可视化结果表明其感受野更大，证实了长距离建模能力的增强。
• 消融实验表明，增大卷积核尺寸可提升性能，验证了TCSR在不同感受野尺寸下的可扩展性。
• NA模块以远少于标准大卷积的参数量和FLOPs实现了类似大卷积核的建模效果，性能相当但效率更高。

Figure 2 : PSNR vs. Parameters . Comparisons with representative lightweight SISR models on Manga109 ( $\times 4$ ) test dataset.