[论文解读] Blind Image Super-Resolution: A Survey and Beyond

Anran Liu, Yihao Liu+3 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Image Processing Techniques被引用 12

一句话总结

本文系统性地综述并构建了盲图像超分（BISR）的分类体系，根据退化建模方式（显式/隐式）与数据来源（外部数据集或单张低分辨率图像）对方法进行分类。研究指出了当前方法的关键局限，揭示了在真实世界图像上性能的差距，并提出以单张图像进行隐式建模是未来极具潜力的方向，同时提供了一个公平比较的框架，以深化对BISR挑战的理解。

ABSTRACT

Blind image super-resolution (SR), aiming to super-resolve low-resolution images with unknown degradation, has attracted increasing attention due to its significance in promoting real-world applications. Many novel and effective solutions have been proposed recently, especially with the powerful deep learning techniques. Despite years of efforts, it still remains as a challenging research problem. This paper serves as a systematic review on recent progress in blind image SR, and proposes a taxonomy to categorize existing methods into three different classes according to their ways of degradation modelling and the data used for solving the SR model. This taxonomy helps summarize and distinguish among existing methods. We hope to provide insights into current research states, as well as to reveal novel research directions worth exploring. In addition, we make a summary on commonly used datasets and previous competitions related to blind image SR. Last but not least, a comparison among different methods is provided with detailed analysis on their merits and demerits using both synthetic and real testing images.

研究动机与目标

• 为解决真实世界图像超分中退化类型未知且复杂的问题。
• 通过一种新颖的分类体系，系统性回顾近期盲图像超分（BISR）的进展。
• 阐明现有方法在跨多样化真实世界退化类型时泛化能力的局限。
• 通过基于退化建模方式与数据来源对方法进行分类，指导BISR方法之间公平且有意义的比较。
• 识别以单张图像进行隐式建模作为BISR中极具潜力但尚未探索的未来方向。

提出的方法

• 提出一种分类体系，将BISR方法划分为四类：显式/隐式退化建模与外部数据集或单张低分辨率图像作为数据来源的组合。
• 使用数学公式区分非盲与盲超分，强调因退化假设不匹配导致的领域差距。
• 分析各类中的代表性方法，如SRMD与IKC（显式建模+外部数据）、NPBSR与KernelGAN（显式建模+单张图像）、CinCGAN与FSSR（隐式建模+外部数据）。
• 使用合成图像与真实世界图像对方法进行评估，突出当假设被违反时性能的显著下降。
• 建议使用所提出的分类体系进行公平比较，建议在同一类别内进行评估，而非跨不同建模方式或数据范式进行比较。
• 建议未来工作应探索仅使用单张低分辨率图像进行隐式建模，可能通过引入人类干预或高分辨率参考选择作为先验。

实验结果

研究问题

• RQ1 不同的退化建模策略（显式 vs. 隐式）如何影响盲图像超分模型的泛化能力？
• RQ2 现有BISR方法在未在其训练数据中覆盖的多样化真实世界退化类型上，其泛化能力达到何种程度？
• RQ3 为何最先进的BISR方法尽管声称具备鲁棒性，但在真实世界图像上仍无法产生令人满意的结果？
• RQ4 当前依赖显式退化建模或外部数据集的方法存在哪些关键局限？
• RQ5 仅使用单张低分辨率图像进行隐式建模具有何种潜力，以及它如何可能克服当前的泛化瓶颈？

主要发现

• 采用显式退化建模的方法仅在建模过的退化类型（如噪声或模糊）上表现良好，但面对未见过的退化类型时性能急剧下降。
• SRResNet与IKC在真实世界图像上倾向于保留噪声纹理，并引入伪影，尤其在噪声未被显式建模时更为明显。
• SRMD与USRNet虽能减少噪声伪影，但牺牲了高频细节，且在未知退化情况下需准确估计核与噪声水平。
• RealSR与FSSR表现出更好的噪声去除与纹理保留能力，但仍生成不自然的纹理与伪影，导致视觉上不合理的输出结果。
• 目前尚无任何方法能在如《阿甘正传》中的真实世界图像上持续产生令人满意的结果，表明在复杂未知退化下的泛化能力存在根本性差距。
• 以单张图像进行隐式建模尚未被探索，被识别为提升盲图像超分泛化能力的极具潜力的未来方向。