[论文解读] Efficient Image Super-Resolution Using Pixel Attention

Hengyuan Zhao, Xiangtao Kong+3 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Image Processing Techniques参考文献 46被引用 43

一句话总结

PAN 引入像素注意力（PA）来构建一个轻量级的超分辨率网络，并在参数远少于基线轻量级模型的情况下实现具有竞争力的 PSNR。它在主分支中包含 SC-PA 块，在重建中包含 U-PA 块。

ABSTRACT

This work aims at designing a lightweight convolutional neural network for image super resolution (SR). With simplicity bare in mind, we construct a pretty concise and effective network with a newly proposed pixel attention scheme. Pixel attention (PA) is similar as channel attention and spatial attention in formulation. The difference is that PA produces 3D attention maps instead of a 1D attention vector or a 2D map. This attention scheme introduces fewer additional parameters but generates better SR results. On the basis of PA, we propose two building blocks for the main branch and the reconstruction branch, respectively. The first one - SC-PA block has the same structure as the Self-Calibrated convolution but with our PA layer. This block is much more efficient than conventional residual/dense blocks, for its twobranch architecture and attention scheme. While the second one - UPA block combines the nearest-neighbor upsampling, convolution and PA layers. It improves the final reconstruction quality with little parameter cost. Our final model- PAN could achieve similar performance as the lightweight networks - SRResNet and CARN, but with only 272K parameters (17.92% of SRResNet and 17.09% of CARN). The effectiveness of each proposed component is also validated by ablation study. The code is available at https://github.com/zhaohengyuan1/PAN.

研究动机与目标

• 通过一个轻量级模型激励高效的单图像超分辨率（SISR）。
• 提出产生具有最小参数的 3D 注意力图的像素注意力（PA）。
• 将 PA 集成到自校准卷积块（SC-PA）用于主路径。
• 引入一个重建块（U-PA），在最近邻插值上采样时应用 PA。
• 在显著降低参数数量的同时，展示对轻量级 SR 模型的具有竞争力的性能。

提出的方法

• 将像素注意力（PA）引入为由 1x1 卷积 + sigmoid 产生的 3D 注意力图。
• 将 PA 嵌入自校准卷积框架，形成 SC-PA 块（双分支结构）。
• 通过 U-PA 块在重建/上采样分支中使用 PA（最近邻上采样、卷积、PA、卷积）。
• 用三大模块构建 PAN 网络：特征提取、非线性映射（堆叠的 SC-PA 块）、重建（U-PA 块）。
• 使用全局跳跃路径，对 LR 输入进行双线性上采样以进行最终 SR 融合：I_SR = rec(x_n) + up(I_LR)。
• 使用 L1 损失、Adam 优化器、余弦退火学习率安排进行训练，训练数据采用 DIV2K/Flickr2K，进行标准 5 基准评测。

实验结果

研究问题

• RQ1 一个参数预算极小（约272K）的轻量级 SR 网络能否达到或超过现有轻量级模型如 SRResNet 和 CARN 的性能？
• RQ2 像素注意力（PA）在小型网络中是否比通道注意力或空间注意力提供更有效的 SR 注意力机制？
• RQ3 将 PA 集成到主 SC 块与重建上采样阶段的影响是什么？
• RQ4 提出的 PAN 如何在标准 SR 基准和放大倍率（×2、×3、×4）上平衡性能与参数数量？

主要发现

• PAN 在 PSNR/SSIM 上具有竞争力，同时参数数量远少于 SRResNet（约 1.37M）和 CARN（约 1.59M）。
• 像素注意力（PA）在轻量级网络的消融实验中优于通道注意力和空间注意力。
• SC-PA（带 PA 的自校准）在 PSNR 上优于基线 RB-PA，在参数成本适中的情况下实现显著提升。
• PA 在 SC-PA 和 U-PA 两处的应用都提升了 SR 性能，在基准测试中测得的 PSNR 增益。
• PA 尤其有利于小型模型，在更大网络上影响可能较小，因为训练策略和冗余起着更大作用。