[论文解读] DLGSANet: Lightweight Dynamic Local and Global Self-Attention Networks for Image Super-Resolution

Xiang Li, Jinshan Pan+2 more|arXiv (Cornell University)|Jan 5, 2023

Advanced Image Processing Techniques被引用 6

一句话总结

DLGSANet 提出了一种轻量级、高效的图像超分辨率网络，采用混合动态-Transformer 模块（HDTB），结合多头动态局部自注意力（MHDLSA）用于局部特征提取，以及稀疏全局自注意力（SparseGSA）用于选择性全局特征聚合。该方法在参数量低于 500 万且浮点运算量（FLOPs）显著低于先前模型的情况下，实现了最先进（SOTA）的性能表现。

ABSTRACT

We propose an effective lightweight dynamic local and global self-attention network (DLGSANet) to solve image super-resolution. Our method explores the properties of Transformers while having low computational costs. Motivated by the network designs of Transformers, we develop a simple yet effective multi-head dynamic local self-attention (MHDLSA) module to extract local features efficiently. In addition, we note that existing Transformers usually explore all similarities of the tokens between the queries and keys for the feature aggregation. However, not all the tokens from the queries are relevant to those in keys, using all the similarities does not effectively facilitate the high-resolution image reconstruction. To overcome this problem, we develop a sparse global self-attention (SparseGSA) module to select the most useful similarity values so that the most useful global features can be better utilized for the high-resolution image reconstruction. We develop a hybrid dynamic-Transformer block(HDTB) that integrates the MHDLSA and SparseGSA for both local and global feature exploration. To ease the network training, we formulate the HDTBs into a residual hybrid dynamic-Transformer group (RHDTG). By embedding the RHDTGs into an end-to-end trainable network, we show that our proposed method has fewer network parameters and lower computational costs while achieving competitive performance against state-of-the-art ones in terms of accuracy. More information is available at https://neonleexiang.github.io/DLGSANet/

研究动机与目标

• 解决现有基于 Transformer 的超分辨率模型计算成本高、参数量大的问题。
• 通过用动态、卷积启发的局部自注意力替代不连续的窗口化注意力机制，提升局部特征提取能力。
• 通过稀疏机制仅保留最相关的注意力值，实现更优的全局特征聚合，避免无关 token 带来的噪声干扰。
• 设计一种轻量级、端到端可训练的网络，在保持高重建质量的同时，参数量和浮点运算量均最小化。

提出的方法

• 提出多头动态局部自注意力（MHDLSA）模块，采用全卷积设计学习动态注意力权重，实现无需固定窗口约束的高效局部特征学习。
• 提出稀疏全局自注意力（SparseGSA）模块，在相似度计算后对注意力值应用 ReLU 激活以剪枝不相关值，仅保留最具用的全局特征。
• 设计混合动态-Transformer 块（HDTB），融合 MHDLSA 与 SparseGSA，以参数高效的方式联合捕捉局部与全局依赖关系。
• 构建残差混合动态-Transformer 组（RHDTG），通过残差学习稳定训练过程并提升特征表示能力。
• 构建完整的 DLGSANet 为端到端可训练网络，由堆叠的 RHDTG 构成，支持高分辨率图像重建。
• 采用轻量化设计，参数量极少，浮点运算量低，在标准基准上实现具有竞争力的性能表现。

实验结果

研究问题

• RQ1 动态局部自注意力机制是否能在不依赖固定窗口划分的前提下，提升超分辨率网络中的局部特征提取能力？
• RQ2 通过稀疏机制剪枝不相关的全局注意力值，是否能带来更优的特征表示与更高的重建质量？
• RQ3 结合动态局部注意力与稀疏全局注意力的混合注意力模块，是否能在显著降低模型复杂度的同时实现最先进性能？
• RQ4 与现有的 CNN 和基于 Transformer 的 SISR 模型相比，该方法在精度、参数量和推理速度方面表现如何？

主要发现

• 在 Urban100 数据集上，DLGSANet 在 ×4 放大倍数下达到 27.17 的 PSNR，相比使用 MHSA 的基线模型提升 0.28dB。
• 稀疏全局自注意力（SparseGSA）模块相比标准 softmax 基础的全局自注意力，PSNR 提升 0.12dB。
• 模型仅使用 476 万参数，在 RTX 3090 GPU 上 ×4 放大推理时间仅为 187ms，显著低于 SwinIR（278ms）与 ELAN（243ms）。
• 轻量化版本 DLGSANet-tiny 在 ×4 放大下推理时间仅 38ms，精度超越 EDSR-baseline（15ms），且比多数基于 Transformer 的模型更高效。
• 消融实验表明，MHDLSA 与 SparseGSA 均对性能有显著贡献，其中 MHDLSA 相较其基线提升 PSNR 0.28dB，SparseGSA 提升 0.12dB。
• 可视化结果表明，SparseGSA 有效抑制了无关注意力值，聚焦于结构保持与细节保留的特征，从而实现更优的重建效果。