[论文解读] Gated Multiple Feedback Network for Image Super-Resolution

Qilei Li, Zhen Li+4 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Image Processing Techniques参考文献 32被引用 29

一句话总结

本文提出用于单图像超分的门控多反馈网络（GMFN），通过门控反馈模块在多个高层特征之间循环迭代地优化低层特征，从而提升特征表示能力。该方法以紧凑的网络结构实现最先进性能，优于使用显著更多残差密集块的RDN等模型。

ABSTRACT

The rapid development of deep learning (DL) has driven single image super-resolution (SR) into a new era. However, in most existing DL based image SR networks, the information flows are solely feedforward, and the high-level features cannot be fully explored. In this paper, we propose the gated multiple feedback network (GMFN) for accurate image SR, in which the representation of low-level features are efficiently enriched by rerouting multiple high-level features. We cascade multiple residual dense blocks (RDBs) and recurrently unfolds them across time. The multiple feedback connections between two adjacent time steps in the proposed GMFN exploits multiple high-level features captured under large receptive fields to refine the low-level features lacking enough contextual information. The elaborately designed gated feedback module (GFM) efficiently selects and further enhances useful information from multiple rerouted high-level features, and then refine the low-level features with the enhanced high-level information. Extensive experiments demonstrate the superiority of our proposed GMFN against state-of-the-art SR methods in terms of both quantitative metrics and visual quality. Code is available at https://github.com/liqilei/GMFN.

研究动机与目标

• 解决深度超分网络中仅前馈特征流的局限性，该局限限制了浅层中上下文信息的利用。
• 通过利用感受野较大的高层特征（蕴含更丰富的上下文信息）来改进低层特征表示。
• 设计一种反馈机制，可选择性地增强来自多条高层特征路径的有用信息，避免噪声与冗余。
• 在参数更少、特征细化更深的前提下，实现更优的图像重建质量。
• 证明多条反馈连接结合自适应门控可显著提升超分性能，优于单条或无引导的反馈机制。

提出的方法

• GMFN采用循环架构，在时间步上级联多个残差密集块（RDB），实现特征的迭代优化。
• 在相邻时间步之间建立多条反馈连接，将深层的高层特征回传至浅层。
• 设计门控反馈模块（GFM），在将多条重定向的高层特征与低层特征融合前，自适应地选择并增强有用信息。
• GFM利用可学习门控机制控制信息流动，确保仅使用相关联的上下文特征来优化低层表示。
• 采用L1损失与感知损失的联合损失函数进行端到端训练，以同时保持像素级精度与结构保真度。
• 网络在两个时间步上展开，每个时间步包含7个RDB，形成结构紧凑但高效的模型。

实验结果

研究问题

• RQ1 来自大感受野的多层级高层特征能否改善超分网络中低层特征的表示？
• RQ2 一种可选择性增强多条反馈路径中有效信息的门控反馈机制，是否能带来优于无引导或单路径反馈的重建质量？
• RQ3 具有多条反馈连接的循环反馈机制，能否在参数更少的前提下实现超越前馈网络（如RDN）的最先进性能？
• RQ4 与现有基于反馈的方法（如SRFBN）相比，所提出的反馈机制在视觉质量与定量指标上的表现如何？
• RQ5 在性能与模型复杂度之间取得平衡时，反馈网络的最优时间步数与RDB数量是多少？

主要发现

• 在Urban100数据集×4尺度下，GMFN实现32.55 dB的PSNR与0.8991的SSIM，优于使用16个RDB的最先进RDN模型。
• 在Manga109数据集×4尺度下，GMFN实现31.24 dB的PSNR与0.9174的SSIM，优于所有对比方法（包括EDSR、D-DBPN与SRFBN）。
• GMFN仅使用14个RDB（每个时间步7个）即超越RDN（16个RDB），证明其参数效率优势。
• 定性结果表明，与其它最先进方法相比，GMFN能重建更锐利的边缘并恢复更多细粒度细节，尤其在纹理与复杂结构区域表现更优。
• 消融实验表明，多条反馈连接与门控反馈模块对性能提升至关重要，若移除反馈机制则PSNR显著下降。
• 模型在多种数据集（Set5、Set14、B100、Urban100、Manga109）上均保持优异性能，表明其具备强大的泛化能力。