[论文解读] Deep Learning for Image Super-resolution: A Survey

Zhihao Wang, Jian Chen+1 more|arXiv (Cornell University)|Feb 16, 2019

Advanced Image Processing Techniques参考文献 212被引用 74

一句话总结

这份综述评估了深度学习在图像超分辨率中的方法，将方法分为有监督、无监督和领域特定，并讨论数据集、评估指标、架构、上采样技术和未来方向。

ABSTRACT

Image Super-Resolution (SR) is an important class of image processing techniques to enhance the resolution of images and videos in computer vision. Recent years have witnessed remarkable progress of image super-resolution using deep learning techniques. This article aims to provide a comprehensive survey on recent advances of image super-resolution using deep learning approaches. In general, we can roughly group the existing studies of SR techniques into three major categories: supervised SR, unsupervised SR, and domain-specific SR. In addition, we also cover some other important issues, such as publicly available benchmark datasets and performance evaluation metrics. Finally, we conclude this survey by highlighting several future directions and open issues which should be further addressed by the community in the future.

研究动机与目标

• 提供对基于深度学习的图像超分辨率（SR）技术的全面概述。
• 按问题设置、数据集、性能指标和应用领域组织 SR 方法。
• 分析有监督 SR 模型的核心组件并总结其优点和局限性。
• 突出 DL 基于 SR 的开放问题、挑战和未来研究方向。

提出的方法

• 将 SR 方法分为有监督、无监督和领域特定类别。
• 评估 SR 中使用的问题设置、降级模型和损失函数。
• 将有监督 SR 系统地分解为模块化组件：框架、上采样方法、网络设计和学习策略。
• 讨论 SR 的基准数据集和评估指标。
• 总结领域特定的 SR 应用和公开挑战（NTIRE、PIRM）。

实验结果

研究问题

• RQ1 在使用深度学习的图像 SR 中，主要问题表述和降级模型是什么？
• RQ2 哪些数据集和评估指标主导 SR 基准测试，它们如何影响报告的性能？
• RQ3 构成有效的有监督 DL-SR 模型的模块化组件有哪些，它们的权衡是什么？
• RQ4 存在哪些关键的无监督和领域特定的 SR 方法，它们与有监督方法有何不同？
• RQ5 DL 基于 SR 社区最迫切的未来方向和开放性问题是什么？

主要发现

• DL 基于 SR 方法通过结合多样化的架构、损失函数和训练策略，在基准测试中实现了最先进的性能。
• 存在四大 SR 框架家族（预上采样、后上采样、渐进上采样、迭代上下采样），每种都有不同的优点和取舍。
• 可学习的上采样层（转置卷积、子像素/像素重排、元上采样）现在占主导，尤其在后上采样框架中。
• 残差学习、递归学习、注意力、密集连接和多路径设计是 SR 模型中有效的网络设计策略。
• 基准数据集和 IQA 指标（PSNR、SSIM、MOS、NIQE、LPIPS）影响 SR 质量的评价，并且关于感知与失真导向指标的争论仍在继续。
• 公共 SR 挑战（NTIRE、PIRM）推动研究趋向于现实降级和感知-失真权衡。