[논문 리뷰] SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations

Chenlin Meng, Yutong He외 5명|arXiv (Cornell University)|2021. 08. 02.

Generative Adversarial Networks and Image Synthesis인용 수 299

한 줄 요약

SDEdit는 사전 학습된 점수 기반 확산 모델을 사용하여 사용 가이드를 바탕으로 작업 특화 학습 없이 guided 이미지 합성 및 편집을 수행하며 현실성(현실성)과 충실성 사이의 균형을 맞춥니다.

ABSTRACT

Guided image synthesis enables everyday users to create and edit photo-realistic images with minimum effort. The key challenge is balancing faithfulness to the user input (e.g., hand-drawn colored strokes) and realism of the synthesized image. Existing GAN-based methods attempt to achieve such balance using either conditional GANs or GAN inversions, which are challenging and often require additional training data or loss functions for individual applications. To address these issues, we introduce a new image synthesis and editing method, Stochastic Differential Editing (SDEdit), based on a diffusion model generative prior, which synthesizes realistic images by iteratively denoising through a stochastic differential equation (SDE). Given an input image with user guide of any type, SDEdit first adds noise to the input, then subsequently denoises the resulting image through the SDE prior to increase its realism. SDEdit does not require task-specific training or inversions and can naturally achieve the balance between realism and faithfulness. SDEdit significantly outperforms state-of-the-art GAN-based methods by up to 98.09% on realism and 91.72% on overall satisfaction scores, according to a human perception study, on multiple tasks, including stroke-based image synthesis and editing as well as image compositing.

연구 동기 및 목표

• 사용자 가이드를 충실히 반영하면서도 현실적인 guided 이미지 합성 및 편집을 가능하게 하고 촉진한다.
• 새로운 편집 작업에 대한 task-specific 학습 데이터와 손실 설계를 피한다.
• 사용 가이드를 이미지 현실성과 결합하기 위해 사전 학습된 확산 기반 생성 선험(prior)을 활용한다.

제안 방법

• 사용 가이드의 노이즈 버전에서 시작하여 VE-SDE를 역으로 풀어 이미지 합성/편집을 형식화한다.
• 시간 t0에서 가이드에 가우시안 노이즈를 추가하고 역 SDE를 실행하여 x(0)을 생성한다.
• denoising score matching으로 학습된 사전 학습된 점수 모델 s_theta(x(t), t)가 grad log p_t(x)를 근사하도록 사용한다.
• Euler-Maruyama(Eq. 4)을 사용하여 역 SDE를 이산화하여 최종 이미지를 생성한다.
• 하이퍼파라미터 t0를 통해 현실성-충실성 트레이드오프를 제공하며, 더 큰 t0는 더 큰 현실성은 주지만 충실성은 낮아진다.

실험 결과

연구 질문

• RQ1 단일 사전 학습된 확산 기반 선험이 다양한 가이드에 대해 task-specific 학습 없이도 현실적이고 충실한 편집을 만들어낼 수 있는가?
• RQ2 역 SDE의 시작 시간 t0에 따라 현실성-충실성의 균형은 어떻게 달라지는가?
• RQ3 SDEdit는 스트로크 기반 생성, 스트로크 기반 편집, 그리고 이미지 합성에서 GAN 기반 기준선과 비교하여 어떤 성능을 보이는가?

주요 결과

• SDEdit는 스트로크 기반 생성에서 최신 GAN 기반 방법을 현실성 및 인간 연구에서의 전반적 만족도 면에서 능가합니다(특정 기준선과 함께 LSUN Bedroom 데이터에서 최대 98.09%의 현실성, 91.72%의 만족도).
• SDEdit는 LSUN 및 CelebA-HQ 데이터셋에서 스트로크 기반 편집에 대해 기준선보다 더 충실하고 현실적인 결과를 달성합니다.
• 이미지 합성에서 SDEdit는 충실성과 현실성을 더 잘 보여주며 전통적 블렌딩 및 GAN 기반 기준선에 비해 전반적 만족도에서 최대 83.73% 향상을 보입니다.
• 현실성-충실성 트레이드오프는 t0로 제어할 수 있으며 합리적인 가이드는 종종 [0.3, 0.6] 범위의 t0를 필요로 합니다.
• 한 명제가 t0와 함께 증가하는 가이드-출력 편차에 대한 확률적 경계(bound)를 제공하여 트레이드오프를 설명합니다.
• 이 방법은 사전 학습된 SDE 모델만 요구하며 task-specific 학습 데이터에 의존하지 않습니다.