[论文解读] Hierarchical Residual Attention Network for Single Image Super-Resolution

Parichehr Behjati, Pau Rodríguez+4 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Image Processing Techniques参考文献 39被引用 4

一句话总结

本文提出了一种轻量级单图像超分辨率模型——分层残差注意力网络（HRAN），通过并行的残差与注意力路径，结合分层特征与注意力存储库，有效保留高频细节。通过将注意力计算与残差模块解耦，并聚合所有残差模块的特征，HRAN在计算成本极低的情况下实现最先进性能，在×4缩放下相较ResNet提升PSNR达0.21 dB，相较EDSR提升0.3 dB（Urban100数据集）。

ABSTRACT

Convolutional neural networks are the most successful models in single image super-resolution. Deeper networks, residual connections, and attention mechanisms have further improved their performance. However, these strategies often improve the reconstruction performance at the expense of considerably increasing the computational cost. This paper introduces a new lightweight super-resolution model based on an efficient method for residual feature and attention aggregation. In order to make an efficient use of the residual features, these are hierarchically aggregated into feature banks for posterior usage at the network output. In parallel, a lightweight hierarchical attention mechanism extracts the most relevant features from the network into attention banks for improving the final output and preventing the information loss through the successive operations inside the network. Therefore, the processing is split into two independent paths of computation that can be simultaneously carried out, resulting in a highly efficient and effective model for reconstructing fine details on high-resolution images from their low-resolution counterparts. Our proposed architecture surpasses state-of-the-art performance in several datasets, while maintaining relatively low computation and memory footprint.

研究动机与目标

• 解决用于单图像超分辨率（SISR）的深层残差网络中高频特征退化的问题。
• 在不牺牲重建质量的前提下，降低SISR模型的计算与内存开销。
• 防止因就地注意力机制在残差聚合过程中丢弃相关特征而导致的信息损失。
• 通过引入专用的特征与注意力存储库，提升网络层级中特征的利用效率。
• 设计一种轻量化、高效的架构，在参数量相近的情况下，PSNR性能超越当前最先进模型。

提出的方法

• 提出残差注意力特征组（RAFGs），在并行路径中堆叠残差模块与轻量化通道注意力（LCA）模块。
• 使用分层特征存储库聚合所有残差模块的输出，保留多层级表征。
• 采用独立的注意力存储库，通过专用计算路径提取并保留最相关特征。
• 每三个残差模块后应用1×1卷积，实现高效的特征融合与梯度传播。
• 将注意力计算与残差模块解耦，避免在残差相加过程中损失高频细节。
• 设计网络时采用两条独立路径：一条用于残差特征学习，一条用于基于注意力的特征优化，支持并行处理。

实验结果

研究问题

• RQ1 具备专用注意力路径的并行架构是否能改善深层SISR网络中的特征保留？
• RQ2 将注意力计算与残差模块解耦，是否能减少特征传播过程中的信息损失？
• RQ3 分层特征与注意力存储库是否能在不增加模型复杂度的前提下提升重建质量？
• RQ4 与标准残差堆叠相比，所提出的RAFG设计在PSNR与计算成本方面表现如何？
• RQ5 特征与注意力存储库在SISR模型中对性能提升的贡献程度如何？

主要发现

• HRAN在×4缩放下于Set14数据集取得28.76 dB的PSNR，在Urban100数据集取得26.39 dB的PSNR，优于参数量相近的EDSR与RCAN。
• 所提出的分层特征存储库相较标准ResNet基线（26.03 dB → 26.24 dB）提升PSNR 0.21 dB，仅增加65K参数。
• 移除特征与注意力存储库后，PSNR平均降低0.06 dB，证实其在特征提炼中的积极影响。
• 所提出的并行注意力机制（LCA）在Set14上取得28.76 dB的PSNR，在Urban100上取得26.39 dB，相较就地注意力机制提升0.07 dB。
• LCA机制在增加仅66K参数的前提下，相较就地注意力机制提升PSNR 0.07 dB，展现出高效与有效。
• HRAN保持低计算与内存开销，适用于资源受限设备的实际部署。