[论文解读] ADIR: Adaptive Diffusion for Image Reconstruction

Shady Abu-Hussein, Tom Tirer+1 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Neuroimaging Techniques and Applications被引用 7

一句话总结

ADIR 提出了一种用于图像重建的新型自适应扩散框架，通过利用退化图像或通过视觉-语言模型检索到的上下文相关‘最近邻’图像，将预训练的去噪扩散模型适配到特定输入条件，从而提升性能。该方法在超分辨率、去模糊和文本引导编辑任务中显著优于基线扩散模型，生成的图像更加清晰、细节更丰富。

ABSTRACT

Denoising diffusion models have recently achieved remarkable success in image generation, capturing rich information about natural image statistics. This makes them highly promising for image reconstruction, where the goal is to recover a clean image from a degraded observation. In this work, we introduce a conditional sampling framework that leverages the powerful priors learned by diffusion models while enforcing consistency with the available measurements. To further adapt pre-trained diffusion models to the specific degradation at hand, we propose a novel fine-tuning strategy. In particular, we employ LoRA-based adaptation using images that are semantically and visually similar to the degraded input, efficiently retrieved from a large and diverse dataset via an off-the-shelf vision-language model. We evaluate our approach on two leading publicly available diffusion models--Stable Diffusion and Guided Diffusion--and demonstrate that our method, termed Adaptive Diffusion for Image Reconstruction (ADIR), yields substantial improvements across a range of image reconstruction tasks.

研究动机与目标

• 通过将预训练的扩散模型适配到特定输入条件，提升图像重建性能。
• 解决扩散模型中固定先验无法考虑输入特定退化特征的局限性。
• 开发一种条件采样方案，平衡扩散模型的先验知识与观测数据的保真度。
• 实现扩散模型对未见分辨率和复杂退化模式的有效适配。
• 在超分辨率、去模糊和文本引导图像编辑任务中实现最先进性能。

提出的方法

• 提出一种条件采样方案，将预训练扩散模型学习到的先验与观测数据约束相结合。
• 引入两种适配策略：一种仅使用退化输入图像，另一种使用通过视觉-语言模型检索到的‘最近邻’图像，以提升上下文相关性。
• 采用一种新颖的适配机制，通过少量相关图像微调去噪网络，使先验与输入的特定特征对齐。
• 使用无分类器引导和潜在空间优化，将扩散过程同时基于退化观测和适配后的先验进行条件化。
• 将该方法应用于 Stable Diffusion 和 Guided Diffusion 模型，实现对预训练中未见分辨率的适配。
• 利用现成的视觉-语言模型（如 CLIP）检索语义和视觉上相似的图像，以实现有效的模型适配。

实验结果

研究问题

• RQ1 是否可以在不进行完整微调的情况下，有效适配预训练扩散模型以应对特定图像重建任务？
• RQ2 与仅使用退化输入图像相比，使用上下文相关的‘最近邻’图像如何提升模型适配效果？
• RQ3 自适应扩散在超分辨率、去模糊和文本引导编辑任务中能将重建质量提升到何种程度？
• RQ4 该适配机制是否能泛化到预训练数据中未出现的图像分辨率？
• RQ5 在感知质量与细节保留方面，该方法与现有基于扩散的重建方法相比表现如何？

主要发现

• ADIR 显著提升了超分辨率结果，在使用最近邻适配时，生成的图像细节甚至比真实图像更清晰。
• 在去模糊任务中，该方法对噪声表现出更强的鲁棒性，并更好地保留了精细纹理，优于基线扩散模型。
• 在文本引导编辑任务中，ADIR 生成的图像比 Stable Diffusion 和 GLIDE 更准确、更少出现伪影，尤其在复杂编辑场景（如发色修改）中表现更优。
• 在所有任务和指标中，使用最近邻图像的适配策略始终优于仅使用退化图像的适配策略。
• 该方法即使在预训练模型仅在 256×256 图像上训练的情况下，也能有效泛化到更高分辨率（如 512×512）。
• 基于 KonIQ-MUSIQ 和 AVA-MUSIQ 的定量评估显示，该方法在多个基准上均一致优于基线扩散模型。