[논문 리뷰] RePaint: Inpainting using Denoising Diffusion Probabilistic Models

Andreas Lugmayr, Martin Danelljan외 4명|arXiv (Cornell University)|2022. 01. 24.

Generative Adversarial Networks and Image Synthesis인용 수 73

한 줄 요약

RePaint는 무조건적 DDPM을 사전으로 사용하고 역 확산을 알려진 이미지 영역에 조건화하여 자유 형식 인페인팅을 임의 마스크에 걸쳐 수행하며, 마스크별 학습 없이 고품질의 다양하고 결과를 달성한다.

ABSTRACT

Free-form inpainting is the task of adding new content to an image in the regions specified by an arbitrary binary mask. Most existing approaches train for a certain distribution of masks, which limits their generalization capabilities to unseen mask types. Furthermore, training with pixel-wise and perceptual losses often leads to simple textural extensions towards the missing areas instead of semantically meaningful generation. In this work, we propose RePaint: A Denoising Diffusion Probabilistic Model (DDPM) based inpainting approach that is applicable to even extreme masks. We employ a pretrained unconditional DDPM as the generative prior. To condition the generation process, we only alter the reverse diffusion iterations by sampling the unmasked regions using the given image information. Since this technique does not modify or condition the original DDPM network itself, the model produces high-quality and diverse output images for any inpainting form. We validate our method for both faces and general-purpose image inpainting using standard and extreme masks. RePaint outperforms state-of-the-art Autoregressive, and GAN approaches for at least five out of six mask distributions. Github Repository: git.io/RePaint

연구 동기 및 목표

• 마스크 조건 생성기를 학습시키지 않고 임의의 마스크 모양을 가진 자유 형식 이미지 인페인팅을 다룬다.
• 의미적이고 질감이 풍부한 인페인팅을 위한 사전으로 사전에 학습된 무조건적 DDPM을 활용한다.
• 확산 과정 중 알려진 영역과 생성된 영역을 조화시키는 재샘플링 전략을 도입한다.

제안 방법

• 인페인팅을 위한 생성 사전으로 일반적으로 사용되는 무조건적 DDPM을 활용한다.
• 역 확산 과정에서 알려진 영역에서 샘플링하여 생성을 조건화하되 DDPM 가중치를 수정하지 않는다.
• 조건화된 내용과 생성된 내용을 조화시키기 위해 확산 시간에서 앞뒤로 점프하는 재샘플링(RePaint) 전략을 도입한다.
• 정방향 과정에서 알려진 영역으로부터 x_{t-1}^{known}을 샘플하고 DDPM으로부터 x_{t-1}^{unknown}을 샘플한 뒤 마스크를 사용해 결합한다.
• 확산 속도를 지나치게 느리게 하지 않으면서 의미적 일관성을 향상시키기 위해 점프 길이(j)로 여러 재샘플링 단계(r)를 점진적으로 적용한다.

실험 결과

연구 질문

• RQ1 무조건적 DDPM이 마스크 조건 모델을 학습시키지 않고 임의의 마스크에 대한 일반적인 인페인팅의 사전으로 작동할 수 있는가?
• RQ2 역 확산 과정에서의 재샘플링 전략이 일반 DDPM 샘플링에 비해 인페인팅 영역의 의미적 일관성과 현실감을 향상시키는가?
• RQ3 RePaint가 얼굴 및 일반 이미지에 대해 얇은 마스크, 큰 영역, 극단적 마스크 등의 다양한 마스크 유형에서 어떻게 작동하는가?
• RQ4 재샘플링 기반 조건화와 확산 느리게 만들기 같은 대안 전략 간의 트레이드오프는 무엇인가?

주요 결과

• RePaint는 극단적인 마스크에서도 고품질이고 다양한 인페인팅 결과를 달성하며 여러 마스크 분포에서 최첨단 자기회귀 및 GAN 방법을 능가한다.
• 재샘플링 전략은 평범한 DDPM 조건화에 비해 알려진 영역과 생성된 영역 간의 의미적 조화를 크게 향상시킨다.
• CelebA-HQ 및 ImageNet에 대한 평가에서 더 나은 주관적 결과와 LPIPS 및 다수의 마스크 설정에서의 사용자 연구 투표가 나타난다.
• 클래스 조건 실험은 사전 학습된 ImageNet DDPM이 의미적으로 의미 있는 클래스 가이드 인페인팅을 생성할 수 있음을 보여준다.
• 아브레이션 연구 결과 점프 길이와 재샘플링 단계 수(r)가 이미지 품질에 긍정적인 영향을 주며, 더 큰 점프 길이(j)가 더 나은 결과를 낳는다.