[论文解读] Efficient Image Super-Resolution using Vast-Receptive-Field Attention

Lin Zhou, Haoming Cai+6 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出 VapSR，一种轻量级图像超分辨率网络，通过广 receptive field 注意力机制提升性能。通过整合大核卷积、深度可分离卷积以及一种新型像素归一化层，VapSR 在仅使用 IMDB 和 RFDN 参数量 21.68% 和 28.18% 的情况下，实现了与之相当的性能，达到当前最优水平。

ABSTRACT

The attention mechanism plays a pivotal role in designing advanced super-resolution (SR) networks. In this work, we design an efficient SR network by improving the attention mechanism. We start from a simple pixel attention module and gradually modify it to achieve better super-resolution performance with reduced parameters. The specific approaches include: (1) increasing the receptive field of the attention branch, (2) replacing large dense convolution kernels with depth-wise separable convolutions, and (3) introducing pixel normalization. These approaches paint a clear evolutionary roadmap for the design of attention mechanisms. Based on these observations, we propose VapSR, the VAst-receptive-field Pixel attention network. Experiments demonstrate the superior performance of VapSR. VapSR outperforms the present lightweight networks with even fewer parameters. And the light version of VapSR can use only 21.68% and 28.18% parameters of IMDB and RFDN to achieve similar performances to those networks. The code and models are available at https://github.com/zhoumumu/VapSR.

研究动机与目标

• 设计一种参数更少但性能保持或提升的高效超分辨率网络。
• 探索在轻量级卷积超分辨率网络中，大感受野在注意力机制中的有效性。
• 通过用深度可分离卷积替换注意力分支中的大尺寸密集卷积，降低模型复杂度。
• 通过一种新型像素归一化技术，稳定轻量级超分辨率网络的训练过程。
• 为高效超分辨率网络中注意力机制的演进建立清晰、分步的设计路线。

提出的方法

• 通过在注意力分支中用大核替换小核，引入大感受野注意力机制，以捕捉长距离依赖关系。
• 将主干网络中标准的 3×3 卷积替换为 1×1 卷积，以减少参数量。
• 使用深度可分离卷积和深度可分离空洞卷积，高效实现大核操作，降低计算成本。
• 提出一种新型像素归一化层，以稳定训练，尤其在高学习率下防止训练崩溃。
• 将注意力模块结构化为一系列 1×1 点卷积、5×5 深度可分离卷积和 7×7 深度可分离空洞卷积，以实现最佳性能。
• 通过实验调整核大小（5、9、11）和模块块数，优化感受野大小，以平衡性能与参数效率。

实验结果

研究问题

• RQ1 在注意力分支中增大感受野是否能提升轻量级网络的超分辨率性能？
• RQ2 用深度可分离卷积替换大尺寸密集卷积对模型效率和性能有何影响？
• RQ3 何种归一化策略可实现具有大感受野的轻量级超分辨率网络的稳定训练？
• RQ4 注意力模块中操作顺序（如点卷积在深度可分离卷积之前）是否影响性能与收敛性？
• RQ5 在高效超分辨率网络中，感受野大小与模型复杂度之间最优权衡为何？

主要发现

• VapSR 在 PSNR 上比 NTIRE2022 轻量级超分辨率竞赛冠军高出 0.1 dB 以上，同时参数量减少 185K。
• VapSR 的轻量化版本在仅使用 IMDB 和 RFDN 参数量 21.68% 和 28.18% 的情况下，实现了相当的性能。
• 所提出的像素归一化方法可实现稳定训练，在收敛性和最终性能上均优于批量归一化、实例归一化和组归一化。
• 在深度可分离卷积层中使用 5×5 核时性能最佳，而更大的核（9×9 和 11×11）导致性能下降。
• 注意力模块中 1×1 → 5×5 → 7×7 深度可分离卷积的顺序相比其他顺序实现了更优性能。
• 消融实验证实，通过大核扩大感受野可提升性能，且深度可分离卷积能有效减少参数量，而不会造成显著精度损失。