[论文解读] A Comprehensive Review of Deep Learning-based Single Image Super-resolution

Syed Muhammad Arsalan Bashir, Yi Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Image Processing Techniques参考文献 224被引用 10

一句话总结

本文对基于深度学习的单图像超分辨率（SISR）进行了全面综述，将方法分类为经典方法、监督学习方法、无监督学习方法和特定领域方法。通过标准基准评估了当前最先进的模型（如EDSR、SRFBN和WRAN），提供了关于性能、指标、数据集以及SISR未来研究方向的见解。

ABSTRACT

Image super-resolution (SR) is one of the vital image processing methods that improve the resolution of an image in the field of computer vision. In the last two decades, significant progress has been made in the field of super-resolution, especially by utilizing deep learning methods. This survey is an effort to provide a detailed survey of recent progress in single-image super-resolution in the perspective of deep learning while also informing about the initial classical methods used for image super-resolution. The survey classifies the image SR methods into four categories, i.e., classical methods, supervised learning-based methods, unsupervised learning-based methods, and domain-specific SR methods. We also introduce the problem of SR to provide intuition about image quality metrics, available reference datasets, and SR challenges. Deep learning-based approaches of SR are evaluated using a reference dataset. Some of the reviewed state-of-the-art image SR methods include the enhanced deep SR network (EDSR), cycle-in-cycle GAN (CinCGAN), multiscale residual network (MSRN), meta residual dense network (Meta-RDN), recurrent back-projection network (RBPN), second-order attention network (SAN), SR feedback network (SRFBN) and the wavelet-based residual attention network (WRAN). Finally, this survey is concluded with future directions and trends in SR and open problems in SR to be addressed by the researchers.

研究动机与目标

• 提供基于深度学习的单图像超分辨率（SISR）技术的详细、最新综述。
• 将SISR方法分为四类：经典方法、基于监督学习的方法、基于无监督学习的方法以及特定领域方法。
• 利用参考数据集和标准图像质量指标评估当前最先进的SISR模型。
• 识别当前SISR研究中的开放问题和未来研究方向，为研究人员和从业者提供参考。
• 提供SISR的基础理解，包括挑战、数据集和性能评估标准。

提出的方法

• 该综述将SISR方法分类为四类：经典方法、基于监督学习的方法、基于无监督学习的方法以及特定领域方法。
• 基于其设计和性能，分析了关键深度学习架构，如EDSR、RBPN、MSRN、Meta-RDN、SAN、SRFBN和WRAN。
• 使用标准参考数据集和常见的图像质量指标（如PSNR和SSIM）评估模型。
• 讨论了残差学习、注意力机制和多尺度特征学习在提升SISR性能中的作用。
• 综述中分析了生成对抗网络（GANs），如CinCGAN，在提升感知质量方面的应用。
• 探讨了小波表示和反馈机制在近期SISR框架中的影响。

实验结果

研究问题

• RQ1 过去十年中，基于深度学习的单图像超分辨率有哪些关键进展？
• RQ2 基于监督学习、无监督学习和特定领域方法的SISR在架构和性能上有哪些差异？
• RQ3 哪些深度学习架构在标准基准上取得了最先进结果，其核心创新是什么？
• RQ4 当前SISR研究中的局限性和开放挑战是什么，特别是在泛化能力和实际应用方面？
• RQ5 不同的图像质量指标和数据集如何影响SISR模型的评估与比较？

主要发现

• EDSR、RBPN和SRFBN在DIV2K和Set5等标准基准上实现了较高的PSNR和SSIM分数，证明了残差学习和反馈机制的有效性。
• 采用注意力机制的模型（如SAN和Meta-RDN）通过在不同尺度上聚焦于相关特征，表现出更优的性能。
• 基于GAN的方法（如CinCGAN）提升了感知质量，尽管可能牺牲PSNR，凸显了感知质量与客观指标之间的权衡。
• 基于小波的网络（如WRAN）通过在频域中利用多分辨率表示，提高了重建保真度。
• 综述识别出一种趋势：轻量化、高效架构以及面向实际应用的特定领域适配。
• 尽管取得了进展，但在跨多样化图像领域泛化、对噪声的鲁棒性以及在不同指标间保持一致性能方面仍存在挑战。