[论文解读] Image Super-Resolution Using Very Deep Residual Channel Attention Networks

Yulun Zhang, Kunpeng Li+4 more|arXiv (Cornell University)|Jul 8, 2018

Advanced Image Processing Techniques参考文献 40被引用 264

一句话总结

RCAN 引入了一个非常深的残差通道注意网络，具有残差中的残差（RIR）结构和通道注意（CA），在高尺度下达到最先进的图像超分辨率。

ABSTRACT

Convolutional neural network (CNN) depth is of crucial importance for image super-resolution (SR). However, we observe that deeper networks for image SR are more difficult to train. The low-resolution inputs and features contain abundant low-frequency information, which is treated equally across channels, hence hindering the representational ability of CNNs. To solve these problems, we propose the very deep residual channel attention networks (RCAN). Specifically, we propose a residual in residual (RIR) structure to form very deep network, which consists of several residual groups with long skip connections. Each residual group contains some residual blocks with short skip connections. Meanwhile, RIR allows abundant low-frequency information to be bypassed through multiple skip connections, making the main network focus on learning high-frequency information. Furthermore, we propose a channel attention mechanism to adaptively rescale channel-wise features by considering interdependencies among channels. Extensive experiments show that our RCAN achieves better accuracy and visual improvements against state-of-the-art methods.

研究动机与目标

• 推动图像SR中的更深网络并克服训练难题。
• 通过跳跃连接绕过大量低频信息以改善学习。
• 引入通道注意以自适应地强调信息量高的特征通道。
• 证明非常深的 RCAN 在标准基准上优于先前的超分辨方法。

提出的方法

• 提出带长跳跃连接的残差中残差（RIR）结构，以实现非常深的网络（>400 层）。
• 使用包含多个 RCAB 的残差组（RG），并具有短跳连接以构建深度。
• 引入通道注意（CA），建模特征通道之间的相关性并对通道维特征进行重新缩放。
• 在 RG 内嵌 RCAB（残差通道注意块），以学习残差高频信息。
• 在末端应用一个放大模块（基于 ESPCN）以输出高分辨率图像。
• 使用 DIV2K 的 LR→HR 映射的 L1 损失进行训练，并在标准 SR 基准上评估。

实验结果

研究问题

• RQ1 极深网络是否能在超分辨率中超越现有的深层 SR 模型？
• RQ2 残差中的残差（RIR）结构是否能稳定非常深的 SR 网络的训练？
• RQ3 CA 是否能在 SR 中有效引导学习以获得高频通道特征？
• RQ4 RCAN 在多种放大因子和数据集上与最先进的 SR 方法相比如何？

主要发现

• 与先前方法相比，RCAN 在标准基准 (Set5、Set14、B100、Urban100、Manga109) 上在 2×、3×、4×和 8× 尺度下获得更高的 PSNR/SSIM。
• 自集成（RCAN+）在不增加深度的情况下进一步提升结果；RCAN+ 一贯取得最佳结果。
• RIR 显著稳定了训练，并使网络达到超过 400 个卷积层，获得显著的 SR 提升。
• 通道注意（CA）通过自适应地重新缩放通道特征带来额外提升，尤其在极深架构中。
• 在像 Urban100 和 Manga109 这样具有挑战性的数据集上，在大尺度下，RCAN 取得显著改进，优于更深但灵活性较差的基线方法如 EDSR。