[论文解读] Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution

Zhuangzi Li|arXiv (Cornell University)|Jul 3, 2019

Advanced Image Processing Techniques参考文献 27被引用 10

一句话总结

该论文提出 ADRD，一种基于注意力机制的 DenseNet 与残差反卷积相结合的新型端到端图像超分辨率框架。它引入了加权密集块以实现自适应特征融合，采用空间注意力模块突出高频区域，结合残差反卷积策略以精确上采样高频细节，在基准数据集上的定量与定性评估中均取得了最先进性能。

ABSTRACT

Image super-resolution is a challenging task and has attracted increasing attention in research and industrial communities. In this paper, we propose a novel end-to-end Attention-based DenseNet with Residual Deconvolution named as ADRD. In our ADRD, a weighted dense block, in which the current layer receives weighted features from all previous levels, is proposed to capture valuable features rely in dense layers adaptively. And a novel spatial attention module is presented to generate a group of attentive maps for emphasizing informative regions. In addition, we design an innovative strategy to upsample residual information via the deconvolution layer, so that the high-frequency details can be accurately upsampled. Extensive experiments conducted on publicly available datasets demonstrate the promising performance of the proposed ADRD against the state-of-the-arts, both quantitatively and qualitatively.

研究动机与目标

• 通过改进特征表示与高频细节恢复，解决图像超分辨率问题的病态性质。
• 克服现有密集网络对所有层次特征同等对待的局限，缺乏对信息性特征的自适应选择。
• 通过新型空间注意力机制，增强对边缘与纹理等高频分量的建模能力。
• 通过重新设计反卷积过程以聚焦于残差信息，提高高频细节上采样的准确性。
• 开发一种鲁棒且高效的深度学习框架，在标准基准上超越最先进方法。

提出的方法

• 提出加权密集块（WDB），其中将所有先前层的特征进行自适应加权并连接到当前层，以增强特征表示。
• 引入空间注意力（SA）模块，通过从 WDB 内部的残差特征中学习，生成强调信息区域的注意力图。
• SA 模块输出残差结果，并与压缩后的特征相加，生成突出高频内容的增强特征图。
• 设计创新的残差反卷积策略，仅对高频残差分量进行上采样，绕过低频信息，以保留精细细节。
• 在每个 WDB 组的输入与增强特征之间使用跳跃连接，以稳定训练并改善梯度流动。
• 在每个 WDB 组之后使用瓶颈层压缩特征并降低维度，随后通过最终重建层生成高分辨率图像。

实验结果

研究问题

• RQ1 与均匀特征聚合相比，密集块中的自适应特征加权是否能提升图像超分辨率的特征表示？
• RQ2 聚焦于高频区域的空间注意力机制是否能更好地保留超分辨率图像中的边缘与纹理？
• RQ3 强调高频细节的残差反卷积策略是否能优于标准反卷积，在上采样质量上表现更优？
• RQ4 在标准基准上，ADRD 框架在 PSNR 与感知质量方面与最先进方法相比表现如何？
• RQ5 ADRD 所增强的特征表示在多大程度上提升了下游任务（如低分辨率图像识别）的性能？

主要发现

• 在 Set5 数据集上，噪声水平为 $5 \times 10^{-5}$ 时，ADRD 的 PSNR 达到 31.90，优于所有对比方法，包括 RDN 与 D-DBPN。
• 在 Set5 数据集上，当噪声水平升高至 $5 \times 10^{-4}$ 时，ADRD 仍保持 29.69 的 PSNR，表明其在噪声环境下具有更优的鲁棒性。
• 视觉对比显示，与双三次插值、LapSRN、RDN 和 D-DBPN 相比，ADRD 更好地保留了局部细节与纹理，尤其在边缘与精细图案等复杂区域。
• 在 Pairs & Oxford 数据集的识别任务中，ADRD 将 Top-1 准确率提升 2.3%，显著优于 RDN 的 1.2% 提升。
• 在 Set5 上，每张图像的平均推理时间为 0.17 秒，表明尽管模型复杂，仍具备高效的推理速度。
• 消融实验确认，加权密集块、空间注意力与残差反卷积三个组件均对整体性能提升有显著贡献。