[論文レビュー] A Theoretical Justification for Image Inpainting using Denoising Diffusion Probabilistic Models

Litu Rout, Advait Parulekar+2 more|arXiv (Cornell University)|Feb 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、Denoising Diffusion Probabilistic Models (DDPMs) を用いた拡散ベース画像補完の理論的裏付けを初めて提供し、再トレーニングなしで未学習のマスクに対しても真の元画像に線形収束するように修正された RePaint アルゴリズムである RePaint+ の正当化を証明した。RePaint に起因する逆過程における不整合性に起因する重大なバイアスを解消し、補正されたドリフトおよび分散成分により、真の画像領域を証明可能に正確に回復可能とした。

ABSTRACT

We provide a theoretical justification for sample recovery using diffusion based image inpainting in a linear model setting. While most inpainting algorithms require retraining with each new mask, we prove that diffusion based inpainting generalizes well to unseen masks without retraining. We analyze a recently proposed popular diffusion based inpainting algorithm called RePaint (Lugmayr et al., 2022), and show that it has a bias due to misalignment that hampers sample recovery even in a two-state diffusion process. Motivated by our analysis, we propose a modified RePaint algorithm we call RePaint$^+$ that provably recovers the underlying true sample and enjoys a linear rate of convergence. It achieves this by rectifying the misalignment error present in drift and dispersion of the reverse process. To the best of our knowledge, this is the first linear convergence result for a diffusion based image inpainting algorithm.

研究の動機と目的

• 線形モデル設定下で、DDPMs を用いた拡散ベース画像補完の実験的成功を理論的に正当化すること。
• 逆過程における不整合性に起因する RePaint のバイアスを特定・分析し、完全なサンプル回復を阻害する要因を解明すること。
• この不整合性を是正し、真のデータ分布への証明可能な収束を可能にする修正アルゴリズム RePaint+ を提案すること。
• 再トレーニングなしで新しいマスクに対しても正確な回復が保証される、任意の拡散ベース補完アルゴリズムにおける最初の線形収束レートを確立すること。
• DDPM の生成的事前分布が、未知または未学習のマスクに対しても、再トレーニングなしで欠損画像部の完全な再構築を可能にするかを検証すること。

提案手法

• 線形モデル設定下での RePaint アルゴリズムの理論的分析に焦点を当て、逆SDE過程およびそのドリフト・分散成分を検証する。
• 既知領域が完全に一致しても、補完領域に系統的なバイアスを引き起こす RePaint の逆過程における不整合エラーの特定。
• 補正されたノイズスケジュールを用いてドリフトおよび分散項を調整することで、不整合を是正する修正された逆SDEの導出。
• RePaint+ が真のデータサンプルに線形収束することの証明。収束レートはマスクパターンに依存しない。
• ガウス事前分布と線形多様体仮定を用いてデータ分布をモデル化し、解析的取り扱いの可能性と理想状態下での正確な回復を可能にする。
• R² 上のトロイ実験（1000サンプル）を用いた実証的検証。RePaint、RePaint+RevSDE、RePaint+ の同一設定下でのRMSEを比較。

Figure 1 : Example demonstrating the bias in RePaint [ LDRYTV22 ] . Starting from the Gaussian prior $\overleftarrow{{\bm{x}}_{1}}$ (green circles), reverse SDE as proposed by RePaint generates $\overleftarrow{{\bm{x}}_{0}}$ (brown circle) that matches with the true data $\overrightarrow{{\bm{x}}_{0

実験結果

リサーチクエスチョン

• RQ1 RePaint は既知領域が完全に一致しているにもかかわらず、なぜ真の画像を回復できないのか。補完領域に系統的なバイアスを引き起こす要因は何か。
• RQ2 修正された RePaint アルゴリズムは、理論的線形モデル設定下で真の元画像に証明可能な収束を達成できるか。
• RQ3 修正アルゴリズムの収束レートは何か。また、主張される線形収束を達成しているか。
• RQ4 逆過程のドリフトおよび分散成分における不整合は、拡散ベース補完におけるサンプル回復にどのように影響するか。
• RQ5 DDPM の生成的事前分布のみで、再トレーニングなしに新しいマスクに対しても欠損画像部を完全に再構築可能か。

主な発見

• RePaint は補完領域に顕著なバイアスを示し、トロイ実験では既知座標が完全に一致しても RMSE が 22.97 に達した。
• RePaint+ はほぼ完全な回復を達成し、RMSE は 3.28×10⁻⁸ にまで低下。理論的設定下で証明可能な正確な回復を示した。
• 提案された RePaint+ アルゴリズムは、真のデータサンプルに線形収束を達成した。これは、任意の拡散ベース補完手法において初の結果である。
• RePaint が生成したサンプルを追加の逆SDEステップに通すと回復が悪化（RMSE = 27.61）し、元のアルゴリズムに持続的なバイアスが存在することを確認した。
• 理論的分析により、ドリフトおよび分散成分の不整合がバイアスの根本的要因であると証明され、その是正が正確な回復を可能にした。
• 実証的結果により、RePaint+ が有限の再サンプリングステップ数内に真のサンプルの ϵ-近傍に回復できることを確認。収束速度は線形レートに従う。

Figure 2 : Comparison between RePaint ( $\overleftarrow{\bar{{\bm{x}}}_{0}}$ ) and RePaint + ( $\overleftarrow{\hat{{\bm{x}}}_{0}}$ ). RePaint + discovers $\epsilon$ -accurate solutions whereas RePaint suffers from the misalignment bias. Green circles indicate Gaussian prior $\overleftarrow{{\bm{x}}