[论文解读] A Dynamic Residual Self-Attention Network for Lightweight Single Image Super-Resolution

Karam Park, Jae Woong Soh+1 more|arXiv (Cornell University)|Dec 8, 2021

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出了一种用于轻量级单图像超分辨率的动态残差自注意力网络（DRSAN），通过动态残差注意力（DRA）机制实现动态残差连接，并引入无参数的残差自注意力（RSA）模块，基于输入统计特性自适应地融合特征。该方法在计算成本极低的情况下实现了最先进性能，相较于现有轻量级模型，PSNR 最高提升 0.12 dB，同时保持了较低的参数量。

ABSTRACT

Deep learning methods have shown outstanding performance in many applications, including single-image super-resolution (SISR). With residual connection architecture, deeply stacked convolutional neural networks provide a substantial performance boost for SISR, but their huge parameters and computational loads are impractical for real-world applications. Thus, designing lightweight models with acceptable performance is one of the major tasks in current SISR research. The objective of lightweight network design is to balance a computational load and reconstruction performance. Most of the previous methods have manually designed complex and predefined fixed structures, which generally required a large number of experiments and lacked flexibility in the diversity of input image statistics. In this paper, we propose a dynamic residual self-attention network (DRSAN) for lightweight SISR, while focusing on the automated design of residual connections between building blocks. The proposed DRSAN has dynamic residual connections based on dynamic residual attention (DRA), which adaptively changes its structure according to input statistics. Specifically, we propose a dynamic residual module that explicitly models the DRA by finding the interrelation between residual paths and input image statistics, as well as assigning proper weights to each residual path. We also propose a residual self-attention (RSA) module to further boost the performance, which produces 3-dimensional attention maps without additional parameters by cooperating with residual structures. The proposed dynamic scheme, exploiting the combination of DRA and RSA, shows an efficient trade-off between computational complexity and network performance. Experimental results show that the DRSAN performs better than or comparable to existing state-of-the-art lightweight models for SISR.

研究动机与目标

• 为解决轻量级单图像超分辨率（SISR）模型中计算效率与重建性能之间的平衡挑战。
• 克服固定结构残差网络缺乏对多样化输入图像统计特性的适应能力的局限性。
• 设计一种动态残差连接机制，可基于输入内容自动调整特征融合权重。
• 开发一种无参注意力机制，以增强特征表示能力而不增加模型复杂度。
• 在参数量和 FLOPs 极少的前提下，实现轻量级 SISR 的最先进性能。

提出的方法

• 提出动态残差注意力（DRA）模块，基于输入图像统计特性学习残差路径的自适应融合权重。
• 引入残差自注意力（RSA）模块，利用残差连接生成三维注意力图，且不增加额外参数。
• 采用带可学习参数和激活函数（Tanh 或无）的动态残差门（DRG），以动态缩放和重新校准残差特征。
• 使用轻量级网络架构，包含两个残差组，集成 DRA 和 RSA 以实现高效特征优化。
• 在 DRG 中采用可学习的缩放机制，避免使用 Sigmoid 激活函数，以保留特征多样性并提升性能。
• 在动态残差块中结合 DRA 与 RSA，实现内容感知的特征融合与增强的表征学习。

实验结果

研究问题

• RQ1 能否通过基于输入统计特性的动态残差连接，在不增加模型复杂度的前提下提升轻量级 SISR 性能？
• RQ2 基于残差结构的无参自注意力机制如何增强轻量级网络中的特征表示能力？
• RQ3 激活函数选择（如 Sigmoid、Tanh 或无）对动态残差门在 SISR 中性能的影响如何？
• RQ4 所提出的动态残差自注意力（DRSA）与传统的通道注意力（CA）、空间注意力（SA）和像素注意力（PA）机制相比，在准确率与效率方面表现如何？
• RQ5 所提出的动态残差与注意力机制能否推广至其他轻量级 CNN 架构，在图像恢复任务中取得良好效果？

主要发现

• 所提出的 DRSAN 在 Urban100 数据集（×2）上达到 32.18 dB 的 PSNR，优于基线模型 0.12 dB，并超越现有轻量级模型。
• RSA 模块在不增加任何参数的情况下提升性能 0.12 dB，证明了其高效性与有效性。
• 在 DRG 中使用双曲正切函数或无激活函数的效果优于使用 Sigmoid，后者会限制特征多样性。
• DRSA 模块在仅增加 2K 参数的情况下，相比基线模型实现 0.12 dB 的 PSNR 提升，且在准确率与效率方面均优于 CA、SA 和 PA。
• 消融实验证实，简单地拼接所有残差特征会降低性能，验证了通过 DRA 实现自适应加权的必要性。
• 该模型在多个基准数据集（Set5、Set14、BSDS100、Urban100）上均保持优异性能，展现出强鲁棒性与泛化能力。