[论文解读] A Theoretical Justification for Image Inpainting using Denoising Diffusion Probabilistic Models

Litu Rout, Advait Parulekar+2 more|arXiv (Cornell University)|Feb 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文首次为基于去噪扩散概率模型（DDPMs）的图像修复提供了理论依据，证明了经过修改的RePaint算法——RePaint+——即使在未见过的掩码下也无需微调，即可实现线性收敛至真实图像。它解决了RePaint中因反向过程错位导致的关键偏差问题，通过校正漂移与扩散分量，实现了可证明的精确恢复。

ABSTRACT

We provide a theoretical justification for sample recovery using diffusion based image inpainting in a linear model setting. While most inpainting algorithms require retraining with each new mask, we prove that diffusion based inpainting generalizes well to unseen masks without retraining. We analyze a recently proposed popular diffusion based inpainting algorithm called RePaint (Lugmayr et al., 2022), and show that it has a bias due to misalignment that hampers sample recovery even in a two-state diffusion process. Motivated by our analysis, we propose a modified RePaint algorithm we call RePaint$^+$ that provably recovers the underlying true sample and enjoys a linear rate of convergence. It achieves this by rectifying the misalignment error present in drift and dispersion of the reverse process. To the best of our knowledge, this is the first linear convergence result for a diffusion based image inpainting algorithm.

研究动机与目标

• 在理论线性模型设定下，为基于DDPM的图像修复方法在实践中取得的成功提供理论依据。
• 识别并分析RePaint中由于反向过程中错位导致的偏差，该偏差阻碍了完美样本恢复。
• 提出一种改进算法RePaint+，通过修正该错位，实现对真实数据分布的可证明收敛。
• 建立首个基于扩散模型的图像修复算法的线性收敛速率，确保在不重新训练的情况下，对新掩码实现精确恢复。
• 证明DDPM的生成先验足以在未知或未见掩码下完整重建缺失的图像区域。

提出的方法

• 在理论线性模型设定下，对RePaint算法进行分析，重点研究其反向SDE过程中的漂移与扩散分量。
• 识别出RePaint反向过程中存在的错位误差，该误差导致即使已知区域完全对齐，修复区域仍存在系统性偏差。
• 推导出RePaint+中修正的反向SDE，通过使用校正后的噪声调度调整漂移与扩散项，以纠正错位。
• 证明RePaint+可线性收敛至真实数据样本，且收敛速率与掩码模式无关。
• 采用高斯先验与线性流形假设来建模数据分布，以实现分析上的可处理性，并在理想条件下实现精确恢复。
• 通过R²空间中的小规模实验（1000个样本）进行经验验证，比较RePaint、RePaint+RevSDE与RePaint+在相同设置下的RMSE。

Figure 1 : Example demonstrating the bias in RePaint [ LDRYTV22 ] . Starting from the Gaussian prior $\overleftarrow{{\bm{x}}_{1}}$ (green circles), reverse SDE as proposed by RePaint generates $\overleftarrow{{\bm{x}}_{0}}$ (brown circle) that matches with the true data $\overrightarrow{{\bm{x}}_{0

实验结果

研究问题

• RQ1 尽管已知区域完全匹配，为何RePaint仍无法恢复真实图像？其修复区域的系统性偏差由何原因造成？
• RQ2 能否通过改进的RePaint算法在理论线性模型中实现对真实底层图像的可证明收敛？
• RQ3 该改进算法的收敛速率是多少？是否如所声称的那样实现了线性收敛？
• RQ4 反向过程中漂移与扩散分量的错位如何影响基于扩散模型的图像修复中的样本恢复？
• RQ5 DDPM的生成先验是否足以在不为新掩码微调的情况下，实现缺失图像区域的完整重建？

主要发现

• 尽管已知坐标完全对齐，RePaint在修复区域仍表现出显著偏差，小样本实验中RMSE高达22.97。
• RePaint+实现近乎完美的恢复，RMSE为3.28×10⁻⁸，证明在理论设定下可实现可证明的精确恢复。
• 所提出的RePaint+算法实现了对真实数据样本的线性收敛，这是首个针对任何基于扩散模型的图像修复方法实现的此类结果。
• 将RePaint生成的样本再通过一次额外的反向SDE步骤后，恢复性能恶化（RMSE = 27.61），证实原始算法中存在持续存在的偏差。
• 理论分析证明，漂移与扩散分量的错位是偏差的根本原因，其校正可实现精确恢复。
• 实证结果确认，RePaint+在有限重采样步数内可将样本恢复至ϵ-邻域内，且收敛速度由线性速率决定。

Figure 2 : Comparison between RePaint ( $\overleftarrow{\bar{{\bm{x}}}_{0}}$ ) and RePaint + ( $\overleftarrow{\hat{{\bm{x}}}_{0}}$ ). RePaint + discovers $\epsilon$ -accurate solutions whereas RePaint suffers from the misalignment bias. Green circles indicate Gaussian prior $\overleftarrow{{\bm{x}}