[论文解读] Multi-Attention Based Ultra Lightweight Image Super-Resolution

Abdul Muqeet, Jiwon Hwang+4 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Image Processing Techniques参考文献 51被引用 10

一句话总结

本文提出 MAFFSRN，一种基于多注意力机制的超轻量级超分辨率网络，在计算成本极低的情况下实现了最先进性能。通过将多注意力模块（MAB）与高效注意力机制（CEA）及改进的二值化特征融合（BFF）结构相结合，MAFFSRN 在减少 FLOPs、参数量和内存使用的同时，优于现有轻量化模型，在基准数据集上的表现更胜一筹，并在 AIM 2020 高效超分辨率挑战赛中以内存效率排名第一。

ABSTRACT

Lightweight image super-resolution (SR) networks have the utmost significance for real-world applications. There are several deep learning based SR methods with remarkable performance, but their memory and computational cost are hindrances in practical usage. To tackle this problem, we propose a Multi-Attentive Feature Fusion Super-Resolution Network (MAFFSRN). MAFFSRN consists of proposed feature fusion groups (FFGs) that serve as a feature extraction block. Each FFG contains a stack of proposed multi-attention blocks (MAB) that are combined in a novel feature fusion structure. Further, the MAB with a cost-efficient attention mechanism (CEA) helps us to refine and extract the features using multiple attention mechanisms. The comprehensive experiments show the superiority of our model over the existing state-of-the-art. We participated in AIM 2020 efficient SR challenge with our MAFFSRN model and won 1st, 3rd, and 4th places in memory usage, floating-point operations (FLOPs) and number of parameters, respectively.

研究动机与目标

• 开发一种适用于计算资源受限环境下的实际部署的轻量化超分辨率网络。
• 通过引入注意力机制增强特征提取与融合，解决深层超分辨率网络中的特征退化问题。
• 在不牺牲性能的前提下，最小化计算成本，特别是 FLOPs、内存使用量和模型参数量。
• 在定量指标和实际效率基准测试中均优于现有轻量化模型。
• 通过全面的消融实验验证所提出架构的有效性，并参与 AIM 2020 高效超分辨率挑战赛。

提出的方法

• 网络架构围绕特征融合组（FFG）构建，每个 FFG 包含堆叠的多注意力模块（MAB），以增强特征表示能力。
• 每个 MAB 采用一种高效成本的注意力机制（CEA），直接对输入特征应用注意力，从而降低计算开销。
• 特征融合结构采用改进的二值化特征融合（BFF）方法，其在消融实验中优于分层特征融合（HFF）。
• 扩张卷积取代 ESA 模块中的标准卷积组，以在参数增加极少的情况下扩展感受野。
• 残差旁路连接将上采样的低分辨率图像加到最终输出上，提升重建保真度。
• 模型采用感知损失与 L1 损失联合端到端训练，以平衡纹理细节与结构准确性。

实验结果

研究问题

• RQ1 轻量化超分辨率网络是否能在显著降低 FLOPs 和内存使用的情况下实现最先进性能？
• RQ2 在多注意力模块（MAB）中集成多种注意力机制，如何提升深层超分辨率网络中的特征表示能力？
• RQ3 所提出的高效成本注意力（CEA）机制是否在降低计算成本的同时保持性能，优于标准注意力模块？
• RQ4 在性能与效率方面，改进的二值化特征融合（BFF）结构与分层特征融合（HFF）相比表现如何？
• RQ5 所提出的架构是否能在实际部署场景（如 AIM 2020 高效超分辨率挑战赛）中优于现有轻量化模型？

主要发现

• 在 AIM 2020 高效超分辨率挑战赛中，MAFFSRN 在内存消耗方面排名第一，FLOPs 排名第三，参数量排名第四，所有效率指标均优于所有竞争对手。
• 在 Set5 数据集 ×4 缩放下，MAFFSRN 实现了 30.73 dB 的 PSNR 和 0.9153 的 SSIM，超越所有先前的轻量化模型。
• 在 B100 数据集 ×2 缩放下，MAFFSRN 实现了 30.58 dB 的 PSNR 和 0.9185 的 SSIM，性能超过 CARN 和 SRMDNF，且参数量更少。
• 在 Urban100 数据集 ×4 缩放下，MAFFSRN 实现了 23.13 dB 的 PSNR 和 0.5870 的 SSIM，展现出在多样化图像分布下的强大泛化能力。
• 消融实验表明，改进的 BFF 结构和 CEA 模块均对性能提升有显著贡献，且 BFF 在特征融合效率方面优于 HFF。
• 尽管网络深度较高，MAFFSRN 在 DIV2K 验证集上每张图像的推理时间仅为 0.104 秒，表明其在深度与推理速度之间取得了良好平衡。