[논문 리뷰] A Theoretical Justification for Image Inpainting using Denoising Diffusion Probabilistic Models

Litu Rout, Advait Parulekar외 2명|arXiv (Cornell University)|2023. 02. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 Denoising Diffusion Probabilistic Models (DDPMs)를 사용한 디퓨전 기반 이미지 복원에 대한 최초의 이론적 근거를 제시한다. 수정된 RePaint 알고리즘인 RePaint+가 재학습 없이도 새로운 마스크에 대해서도 진정한 원본 이미지로 선형 수렴함을 증명한다. 이는 역방향 과정에서의 비일치로 인한 RePaint의 심각한 편향을 해결하며, 교정된 드리프트 및 산란 성분을 통해 정확한 복원이 가능하도록 한다.

ABSTRACT

We provide a theoretical justification for sample recovery using diffusion based image inpainting in a linear model setting. While most inpainting algorithms require retraining with each new mask, we prove that diffusion based inpainting generalizes well to unseen masks without retraining. We analyze a recently proposed popular diffusion based inpainting algorithm called RePaint (Lugmayr et al., 2022), and show that it has a bias due to misalignment that hampers sample recovery even in a two-state diffusion process. Motivated by our analysis, we propose a modified RePaint algorithm we call RePaint$^+$ that provably recovers the underlying true sample and enjoys a linear rate of convergence. It achieves this by rectifying the misalignment error present in drift and dispersion of the reverse process. To the best of our knowledge, this is the first linear convergence result for a diffusion based image inpainting algorithm.

연구 동기 및 목표

• 선형 모델 설정에서 디퓨전 기반 이미지 복원의 경험적 성공을 이론적으로 정당화하는 것.
• 역방향 과정의 비일치로 인해 발생하는 RePaint의 편향을 특정하고 분석하는 것.
• 이 비일치를 수정하여 진정한 데이터 분포로의 증명 가능한 수렴을 가능하게 하는 수정된 알고리즘인 RePaint+를 제안하는 것.
• 모든 디퓨전 기반 복원 알고리즘 중에서 처음으로 선형 수렴 속도를 확립하여, 새로운 마스크에 대해 재학습 없이도 정확한 복원을 보장하는 것.
• DDPM의 생성 사전이 새로운 마스크에 대해 재학습 없이도 누락된 이미지 영역을 완전히 복원하는 데에 충분하다는 것을 보여주는 것.

제안 방법

• 역방향 SDE 과정과 그 드리프트 및 산란 성분에 중점을 두어 선형 모델 설정에서 RePaint 알고리즘의 이론적 분석.
• 기존 영역이 완벽하게 일치함에도 불구하고 복원 영역에서 체계적 편향을 유발하는 RePaint의 역방향 과정에서의 비일치 오류 식별.
• 수정된 노이즈 스케줄을 사용해 드리프트 및 산란 항목을 조정함으로써 비일치를 교정하는 수정된 역방향 SDE 유도.
• RePaint+가 진정한 데이터 샘플로 선형 수렴함을 증명하며, 이 수렴 속도가 마스크 패턴과 무관함을 보임.
• 데이터 분포를 모델링하기 위해 가우시안 사전과 선형 다각형 가정을 사용하여 분석 가능성을 확보하고 이상 조건 하에서 정확한 복원을 가능하게 함.
• 1000개의 샘플을 사용한 R² 내의 토이 실험을 통한 실증적 검증으로, 동일한 조건에서 RePaint, RePaint+RevSDE, RePaint+의 RMSE를 비교함.

Figure 1 : Example demonstrating the bias in RePaint [ LDRYTV22 ] . Starting from the Gaussian prior $\overleftarrow{{\bm{x}}_{1}}$ (green circles), reverse SDE as proposed by RePaint generates $\overleftarrow{{\bm{x}}_{0}}$ (brown circle) that matches with the true data $\overrightarrow{{\bm{x}}_{0

실험 결과

연구 질문

• RQ1 RePaint는 알려진 영역이 완벽하게 일치함에도 불구하고 왜 진정한 이미지를 복원하지 못하며, 복원 영역에서 체계적 편향을 유발하는 원인은 무엇인가?
• RQ2 수정된 RePaint 알고리즘이 이론적 선형 모델 설정에서 진정한 원본 이미지로 증명 가능한 수렴을 달성할 수 있는가?
• RQ3 수정된 알고리즘의 수렴 속도는 무엇이며, 주장한 바와 같이 선형 수렴을 달성하는가?
• RQ4 역방향 과정의 드리프트 및 산란 성분에서의 비일치가 디퓨전 기반 복원에서 샘플 복원에 어떤 영향을 미치는가?
• RQ5 DDPM의 생성 사전만으로도 새로운 마스크에 대해 재학습 없이도 누락된 이미지 영역을 완전히 복원할 수 있는가?

주요 결과

• RePaint는 알려진 좌표에서 완벽한 일치를 보임에도 불구하고 복원 영역에서 심각한 편향을 보이며, 토이 실험에서 RMSE가 22.97에 이른다.
• RePaint+는 거의 완벽한 복원을 달성하여 RMSE가 3.28×10⁻⁸에 그치며, 이론적 설정에서 증명 가능한 정확한 복원을 보여준다.
• 제안된 RePaint+ 알고리즘은 진정한 데이터 샘플로 선형 수렴하며, 이는 모든 디퓨전 기반 복원 방법 중에서 최초의 결과이다.
• RePaint가 생성한 샘플을 추가적인 역방향 SDE 단계를 통과시키면 복원이 악화되며, RMSE가 27.61로 증가함을 통해 원래 알고리즘에 지속적인 편향이 존재함을 확인한다.
• 이론적 분석을 통해 드리프트 및 산란 성분의 비일치가 편향의 근본 원인임을 증명하며, 이의 교정이 정확한 복원을 가능하게 함을 보였다.
• 실증 결과는 RePaint+가 유한한 재샘플링 단계 동안 ϵ-근접 영역 내에서 진짜 샘플을 복원함을 확인하였으며, 수렴 속도는 선형 속도에 의해 결정됨을 보여준다.

Figure 2 : Comparison between RePaint ( $\overleftarrow{\bar{{\bm{x}}}_{0}}$ ) and RePaint + ( $\overleftarrow{\hat{{\bm{x}}}_{0}}$ ). RePaint + discovers $\epsilon$ -accurate solutions whereas RePaint suffers from the misalignment bias. Green circles indicate Gaussian prior $\overleftarrow{{\bm{x}}