[论文解读] Diffusion Models for Image Restoration and Enhancement: A Comprehensive Survey
对基于扩散模型的图像恢复与增强的综合综述,详细介绍有监督和零-shot 方法、数据集、评估和未来方向。
Image restoration (IR) has been an indispensable and challenging task in the low-level vision field, which strives to improve the subjective quality of images distorted by various forms of degradation. Recently, the diffusion model has achieved significant advancements in the visual generation of AIGC, thereby raising an intuitive question, "whether diffusion model can boost image restoration". To answer this, some pioneering studies attempt to integrate diffusion models into the image restoration task, resulting in superior performances than previous GAN-based methods. Despite that, a comprehensive and enlightening survey on diffusion model-based image restoration remains scarce. In this paper, we are the first to present a comprehensive review of recent diffusion model-based methods on image restoration, encompassing the learning paradigm, conditional strategy, framework design, modeling strategy, and evaluation. Concretely, we first introduce the background of the diffusion model briefly and then present two prevalent workflows that exploit diffusion models in image restoration. Subsequently, we classify and emphasize the innovative designs using diffusion models for both IR and blind/real-world IR, intending to inspire future development. To evaluate existing methods thoroughly, we summarize the commonly-used dataset, implementation details, and evaluation metrics. Additionally, we present the objective comparison for open-sourced methods across three tasks, including image super-resolution, deblurring, and inpainting. Ultimately, informed by the limitations in existing works, we propose five potential and challenging directions for the future research of diffusion model-based IR, including sampling efficiency, model compression, distortion simulation and estimation, distortion invariant learning, and framework design.
研究动机与目标
- 推动在图像恢复中使用扩散模型以解决主观纹理完整性问题。
- 总结与图像恢复(IR)相关的扩散模型基础、架构和条件化策略。
- 对有监督和零-shot 的扩散模型 IR 方法在超分辨 SR、去模糊和修复等任务上的分类与比较。
- 讨论真实世界(盲)IR 的挑战及面向实际部署的设计方向。
- 提供基准、数据集与评估考量,以指导未来的 IR 扩散模型研究。
提出的方法
- 回顾基础扩散模型变体(NCSN、DDPM、SDE)及其训练/采样差异。
- 描述两种主要的 IR 工作流:有监督的扩散模型 IR(从成对数据训练)和零-shot 的扩散模型 IR(预训练先验)。
- 解释条件化策略(如拼接、预处理参考、基于补丁的处理)和生成空间(图像、残差、潜在)。
- 总结真实世界 IR 的扩展:通过失真仿真、核估计和失真不变学习来应对盲性/真实世界的降解。
- 使用开源方法和数据集,在 SR、去模糊和修复等方面提供客观比较。
- 勾勒挑战与未来方向,包括采样效率、模型压缩、失真仿真/估计以及框架设计。
实验结果
研究问题
- RQ1有监督与零-shot 扩散模型在图像恢复方法上的核心差异是什么?
- RQ2如何对扩散模型进行条件化,以在保留结构和纹理的同时有效地恢复降解图像?
- RQ3哪些数据集、指标和评估实践最能体现基于扩散模型的 IR 方法的质量?
- RQ4如何将扩散模型 IR 扩展到真实世界的盲降解和未知失真?
- RQ5在实践中提高效率和适用性的扩散式 IR 的关键研究方向是什么?
主要发现
- 扩散模型在纹理生成和保真度上可以超越基于 GAN 的 IR 方法。
- 使用简单条件化(例如拼接)的有监督 IR 可以实现强的 SR 结果,而对参考进行预处理可提高对伪影的鲁棒性。
- 零-shot 方法利用预训练的生成先验实现无训练的恢复,扩大对未见降解的适用性。
- 真实世界的 IR 通过失真仿真、核估计和失真不变学习来应对盲降解。
- 在 SR、去模糊和修复等方面,IR 扩散模型使用了多种数据集和评估实践,存在开源基准和比较。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。