[论文解读] An Effective Single-Image Super-Resolution Model Using Squeeze-and-Excitation Networks

Kangfu Mei, Aiwen Jiang+3 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Image Processing Techniques参考文献 20被引用 5

一句话总结

本文提出 SrSENet，一种深度残差超分辨率网络，通过集成 Squeeze-and-Excitation (SE) 模块来建模特征图中的通道间依赖关系，实现通道自适应的特征重校准。通过在跳跃连接和高效转置卷积中应用 SE 模块，该模型在保持较低复杂度的同时，实现了最先进的 PSNR 和 SSIM 性能，尤其在大倍数超分（如 8x）时表现优异。

ABSTRACT

Recent works on single-image super-resolution are concentrated on improving performance through enhancing spatial encoding between convolutional layers. In this paper, we focus on modeling the correlations between channels of convolutional features. We present an effective deep residual network based on squeeze-and-excitation blocks (SEBlock) to reconstruct high-resolution (HR) image from low-resolution (LR) image. SEBlock is used to adaptively recalibrate channel-wise feature mappings. Further, short connections between each SEBlock are used to remedy information loss. Extensive experiments show that our model can achieve the state-of-the-art performance and get finer texture details.

研究动机与目标

• 通过建模卷积特征中的通道间相关性，提升单图像超分辨率性能。
• 在保持或提升性能的同时，降低模型复杂度，尤其在高倍数超分时。
• 开发一种灵活、快速且准确的超分辨率框架，无需增加网络深度或复杂度。
• 通过自适应通道重校准增强特征表示，缓解单图像超分辨率问题的病态性。

提出的方法

• 在特征提取阶段引入 Squeeze-and-Excitation (SE) 模块，实现通道自适应的可学习特征重校准。
• 采用残差学习与从输入到每个 SE 模块的跳跃连接，以缓解信息丢失和梯度消失问题。
• 使用转置卷积层进行上采样，基于共享的特征提取架构，为不同尺度应用不同的转置卷积层。
• 通过挤压操作聚合每个通道的全局信息，并通过全连接层与 Sigmoid 激活函数学习通道注意力权重。
• 通过去除冗余层，在保持性能的同时设计轻量化网络，利用 SE 模块增强表征能力。
• 调整网络架构以支持多种上采样率（2x、4x、8x），保持一致的特征提取与可扩展的上采样机制。

实验结果

研究问题

• RQ1 在卷积特征中建模通道间依赖关系是否能提升超分辨率性能？
• RQ2 将 Squeeze-and-Excitation 模块集成到残差网络架构中，是否能带来更好的纹理重建效果与更高的 PSNR/SSIM？
• RQ3 通过通道自适应重校准，一个参数更少的轻量化网络是否能实现最先进性能？
• RQ4 在高倍数超分（如 8x）时，所提方法在性能与速度上与现有 SISR 模型相比如何？
• RQ5 所提方法是否能在降低模型复杂度的同时保持高精度？

主要发现

• 在 8x 上采样基准测试中，SrSE-Net 在 Set14 上达到 26.10 的 PSNR，优于 VDSR（25.72）与 LapSRN（26.14），SSIM 达到 0.703。
• 在 4x 上采样时，SrSE-Net 在 Set5 上达到 31.40 的 PSNR，超过 VDSR（31.35）与 LapSRN（31.54），SSIM 为 0.881。
• 在 Urban100 数据集上，SrSE-Net 在 4x 时达到 25.21 的 PSNR 与 0.762 的 SSIM，优于 VDSR（25.18）与 LapSRN（25.21），表明纹理细节恢复能力更强。
• 消融实验表明，移除 SE 模块后，Set5 上的 PSNR 下降 0.10（31.30 vs. 31.40），证明通道重校准的关键作用。
• 在所有基准测试（Set5、Set14、BSDS100、Urban100、Manga109）中，SrSE-Net 在 2x、4x 和 8x 上均达到最先进性能，且未增加网络深度或复杂度。
• 视觉对比显示，与 Bicubic、SRCNN、FSRCNN、VDSR 和 LapSRN 相比，SrSE-Net 在高倍数上生成更清晰的纹理与更精细的细节。