[论文解读] Feedback Network for Image Super-Resolution

Zhen Li, Jinglei Yang+4 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Image Processing Techniques参考文献 47被引用 47

一句话总结

本文提出 SRFBN，一种用于图像超分辨率的递归反馈网络，通过专用的反馈块用高层信息来细化低层特征，并结合针对复杂退化的课程学习。

ABSTRACT

Recent advances in image super-resolution (SR) explored the power of deep learning to achieve a better reconstruction performance. However, the feedback mechanism, which commonly exists in human visual system, has not been fully exploited in existing deep learning based image SR methods. In this paper, we propose an image super-resolution feedback network (SRFBN) to refine low-level representations with high-level information. Specifically, we use hidden states in an RNN with constraints to achieve such feedback manner. A feedback block is designed to handle the feedback connections and to generate powerful high-level representations. The proposed SRFBN comes with a strong early reconstruction ability and can create the final high-resolution image step by step. In addition, we introduce a curriculum learning strategy to make the network well suitable for more complicated tasks, where the low-resolution images are corrupted by multiple types of degradation. Extensive experimental results demonstrate the superiority of the proposed SRFBN in comparison with the state-of-the-art methods. Code is avaliable at https://github.com/Paper99/SRFBN_CVPR19.

研究动机与目标

• 动机：在 SR 中利用高层信息通过反馈机制来细化低层表示。
• 设计一个反馈块，高效处理自顶向下的信息流并丰富高层表示。
• 通过对复杂退化采用课程学习策略，使得在多次迭代中实现强有力的早期重建和逐步细化。

提出的方法

• 提出 SRFBN，一个展开为 T 次迭代的迭代网络，每次迭代包含一个 LR 特征块、一个反馈块和一个重建块。
• 引入一个反馈块（FB），带有多个投影组和密集跳连，以将高层信息向后传播到低层特征。
• 在所有迭代上绑定损失，以强制隐藏状态中包含有用的高层信息。
• 使用 Curriculum Learning 策略，在 BD 和 DN 的复杂退化模型中，将目标从易到难在各迭代中呈现。

实验结果

研究问题

• RQ1 反馈机制是否能够通过将高层信息回传至早期阶段来改善 SR 的低层特征细化？
• RQ2 带有密集投影的专用反馈块是否在参数更少的情况下提升重建质量？
• RQ3 与标准训练相比，课程学习在多种退化模型下是否提升了 SR 的性能？
• RQ4 早期迭代的输出与后期输出相比如何，以及在 SR 中多迭代监督的好处是什么？

主要发现

• 带有反馈的 SRFBN 在性能上优于其前馈对比，并且随着迭代次数 T 增加而提升。
• 反馈块中的投影组 G 越大，SR 精度越好，凸显了更丰富的高层表示。
• SRFBN-S 在轻量级模型（参数不足 1M）中实现了强大的 SR 结果。
• 自 ensemble 版本 SRFBN+ 进一步提升，接近或超越某些更大的模型，同时保持较少的参数。
• 课程学习在 BD 和 DN 退化下提升了 SR 性能，且从 BI 进行微调进一步提升结果。