[论文解读] Inversion by Direct Iteration: An Alternative to Denoising Diffusion for Image Restoration

Mauricio Delbracio, Peyman Milanfar|arXiv (Cornell University)|Mar 20, 2023

Photoacoustic and Ultrasonic Imaging被引用 30

一句话总结

InDI 以小步迭代方式逐步恢复退化图像，避免单步回归均值，并在运动模糊/去模糊、失焦、超分辨率和压缩伪影等任务中提高感知质量。它学习一个以时间 t 为条件的迭代恢复函数，并且不需要已知的降级模型。

ABSTRACT

Inversion by Direct Iteration (InDI) is a new formulation for supervised image restoration that avoids the so-called "regression to the mean" effect and produces more realistic and detailed images than existing regression-based methods. It does this by gradually improving image quality in small steps, similar to generative denoising diffusion models. Image restoration is an ill-posed problem where multiple high-quality images are plausible reconstructions of a given low-quality input. Therefore, the outcome of a single step regression model is typically an aggregate of all possible explanations, therefore lacking details and realism. The main advantage of InDI is that it does not try to predict the clean target image in a single step but instead gradually improves the image in small steps, resulting in better perceptual quality. While generative denoising diffusion models also work in small steps, our formulation is distinct in that it does not require knowledge of any analytic form of the degradation process. Instead, we directly learn an iterative restoration process from low-quality and high-quality paired examples. InDI can be applied to virtually any image degradation, given paired training data. In conditional denoising diffusion image restoration the denoising network generates the restored image by repeatedly denoising an initial image of pure noise, conditioned on the degraded input. Contrary to conditional denoising formulations, InDI directly proceeds by iteratively restoring the input low-quality image, producing high-quality results on a variety of image restoration tasks, including motion and out-of-focus deblurring, super-resolution, compression artifact removal, and denoising.

研究动机与目标

• 解决一次性图像恢复中的回归到均值的限制
• 提出一个迭代恢复框架，使图像质量逐步提升
• 通过使用成对的训练数据，避免对显式降级模型的依赖
• 展示在多种恢复任务中的适用性（运动/去模糊、超分辨率、压缩伪影）
• 将该方法与扩散式思想联系起来，同时保持模型与降级无关性

提出的方法

• 定义正向降级 x_t = (1-t)x + t y，其中 t∈[0,1]，以在高质量 x 与低质量 y 之间创建中间状态
• 在每个时间步训练一个单一的条件回归器 F_theta(x_t, t)，以从 x_t 预测 x
• 迭代更新 x_{t-δ} = (δ/t)F_theta(x_t, t) + (1−δ/t)x_t，其中 δ 控制步长（通常 δ=1/N）
• 可选的随机扰动在输入中加入噪声，以确保后验期望的良好定义并提升感知质量
• 在连续极限下，推导残差流 ODE dx_t/dt = (x_t − F_theta(x_t, t))/t，并在高斯噪声情形下与基于得分的 DSM 相关
• 给出推理算法（Algorithm 1），从 y（或带小噪声的 y）开始迭代到 x_0

实验结果

研究问题

• RQ1 迭代、微小步长的恢复是否在保留纹理和真实感方面优于单步回归？
• RQ2 是否可以通过学习成对数据，在没有已知降级模型的情况下恢复多样且高质量的图像？
• RQ3 推理步数的增加如何在不同任务中影响感知与失真之间的权衡？
• RQ4 InDI 与基于扩散的方法有何关系，是否能在高斯降级下重现 DSM 类行为？
• RQ5 在恢复过程中对输入添加受控噪声是否会改善感知结果？

主要发现

• 在各任务中，感知质量优于单步回归，接近扩散模型的结果，同时保持更简单且对降级无关
• 在 GoPro 运动去模糊任务上，该方法在感知指标上达到最先进水平，PSNR/SSIM 具有竞争力
• 增加步数在提升感知指标的同时以牺牲 PSNR 为代价，体现感知–失真权衡
• 在 div2k 的 4× 超分辨率上，达到有竞争力的 PSNR，并在感知分数（LPIPS 更低）方面优于若干回归方法，且与扩散方法接近
• 该方法对运动/去模糊、Defocus 去模糊、JPEG 伪影去除和超分辨率具有一般化能力，分析显示逐步恢复和偶尔的噪声扰动的益处
• 在高斯降级设置下，该方法的 ODE 与已知的得分匹配扩散动态对齐，显示理论一致性