[论文解读] A Systematic Survey of Deep Learning-based Single-Image Super-Resolution

Juncheng Li, Zehua Pei+5 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Image Processing Techniques参考文献 162被引用 28

一句话总结

本论文提供了基于深度学习的单图像超分辨率（SISR）的全面综述，将方法按目标进行组织，并总结数据集、上采样技术、损失和评估指标。它还讨论了基于DL的SISR的挑战与未来方向。

ABSTRACT

Single-image super-resolution (SISR) is an important task in image processing, which aims to enhance the resolution of imaging systems. Recently, SISR has made a huge leap and has achieved promising results with the help of deep learning (DL). In this survey, we give an overview of DL-based SISR methods and group them according to their design targets. Specifically, we first introduce the problem definition, research background, and the significance of SISR. Secondly, we introduce some related works, including benchmark datasets, upsampling methods, optimization objectives, and image quality assessment methods. Thirdly, we provide a detailed investigation of SISR and give some domain-specific applications of it. Fourthly, we present the reconstruction results of some classic SISR methods to intuitively know their performance. Finally, we discuss some issues that still exist in SISR and summarize some new trends and future directions. This is an exhaustive survey of SISR, which can help researchers better understand SISR and inspire more exciting research in this field. An investigation project for SISR is provided at https://github.com/CV-JunchengLi/SISR-Survey.

研究动机与目标

• 提供按具体目标组织的 DL 基于 SISR 方法的全面概述。
• 总结 SISR 中使用的基准数据集、降级模型和上采样技术。
• 评估 SISR 的优化目标和图像质量评估方法。
• 讨论当前挑战、差距和未来方向，以启发新的研究。

提出的方法

• 将 DL 基于 SISR 方法分为四种基于目标的类别：重建效率、重建准确性、感知质量，以及进一步改进。
• 描述 SISR 的问题设定和降级模型，包括 BI、BD 和 DN 模式。
• 总结上采样方法，如预上采样、后上采样和亚像素卷积层。
• 详细说明损失函数类型，包括像素、内容、对抗和先验损失，以及它们在指导训练中的作用。
• 解释监督学习和无监督学习策略及其优化目标。
• 讨论重建准确性、感知质量和重建效率的评估方法。

Figure 1: SISR aims to reconstruct a super-resolution (SR) image from its degraded low-resolution (LR) one.

实验结果

研究问题

• RQ1 按重建目标对主 DL 基于 SISR 方法进行分类时有哪些？
• RQ2 常用来训练和评估 SISR 模型的基准数据集和降级模型是什么？
• RQ3 哪些上采样策略和损失函数是普遍存在的，它们如何影响结果？
• RQ4 在准确性、感知质量和效率方面，基于 DL 的 SISR 方法的评价是如何进行的？

主要发现

• 该综述涵盖了超过 100 个 SR 方法，并强调了一个面向目标的分类法以提高清晰度。
• DIV2K 被公认为广泛使用的训练数据集，RealSR 代表真实世界配对的 LR/HR 数据。
• 讨论了多种上采样方法，包括转置卷积和亚像素卷积，强调效率与准确性之间的权衡。
• 常见的损失函数包括像素损失（L1/MSE/Charbonnier）、内容损失、对抗损失和先验损失，通常组合使用。
• 评估涵盖 PSNR/SSIM 用于准确性，以及 NIQE/PI/LPIPS/MOS 用于感知质量，指出失真与感知结果之间的权衡。
• 本文就重建效率指标如模型大小、执行时间和 Mult-Adds 提供了平衡性能与实用性的指导。

Figure 2: The content and taxonomy of this survey. In this survey, we divide the DL-based SISR methods into four categories, which are classified according to their specific targets. Among them, the dark gray blocks are the focus methods in this survey.