[论文解读] A Deep Journey into Super-resolution: A survey

Saeed Anwar, Salman Khan+1 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Image Processing Techniques参考文献 104被引用 92

一句话总结

本论文对超过 30 种基于深度 CNN 的单图像超分辨方法进行了综述，提出了一个九分类的分类体系，并在 6 个数据集上进行比较，突出进展、权衡以及未来方向。

ABSTRACT

Deep convolutional networks based super-resolution is a fast-growing field with numerous practical applications. In this exposition, we extensively compare 30+ state-of-the-art super-resolution Convolutional Neural Networks (CNNs) over three classical and three recently introduced challenging datasets to benchmark single image super-resolution. We introduce a taxonomy for deep-learning based super-resolution networks that groups existing methods into nine categories including linear, residual, multi-branch, recursive, progressive, attention-based and adversarial designs. We also provide comparisons between the models in terms of network complexity, memory footprint, model input and output, learning details, the type of network losses and important architectural differences (e.g., depth, skip-connections, filters). The extensive evaluation performed, shows the consistent and rapid growth in the accuracy in the past few years along with a corresponding boost in model complexity and the availability of large-scale datasets. It is also observed that the pioneering methods identified as the benchmark have been significantly outperformed by the current contenders. Despite the progress in recent years, we identify several shortcomings of existing techniques and provide future research directions towards the solution of these open problems.

研究动机与目标

• 全面综述单图像 SR 的深度学习方法。
• 基于结构差异引入 SR 网络的分类体系。
• 分析各方法的设计选择、训练细节和损失函数。
• 在 6 个公开可用的 SISR 数据集上评估方法。
• 讨论当前的局限性和未来的研究方向。

提出的方法

• 提出一个九分类的 SR 网络分类体系（线性、残差、多分支、递归、渐进、注意力为基础、对抗、密集连接等）。
• 在架构、参数、内存占用、输入/输出及损失等维度，对超过 30 种前沿 SR-CNN 进行系统比较。
• 调查涵盖早期上采样、晚期上采样、递归、渐进和密集连接架构的网络设计。
• 在六个公开的 SISR 数据集上评估方法，以评估进展和趋势。
• 突出关键的架构创新及其对性能和效率的影响。

实验结果

研究问题

• RQ1 现代 SR-CNN 在架构设计上有何差异，这些设计如何影响性能和复杂性？
• RQ2 早期上采样与晚期上采样之间，以及线性、残差和递归设计在 SR 中的权衡是什么？
• RQ3 数据集和损失函数如何演化以提升 SR 质量，仍存在哪些差距？
• RQ4 SR 方法当前的不足之处有哪些，哪些未来方向最具潜力？

主要发现

• 近年来，SR 的准确性持续快速增长，同时模型复杂度增加和数据集规模增大。
• 在所评估的数据集上，开创性基准方法已被当前的竞争者超越。
• 本文提供了公开数据集和代码，以便评估和复现。
• 不同的架构族（如残差、递归、密集连接）在 SR 任务中贡献了各自的优势。
• 评估强调方法在性能、速度和内存需求之间的权衡。