[논문 리뷰] SDEdit: Image Synthesis and Editing with Stochastic Differential Equations

Chenlin Meng, Yang Song외 4명|arXiv (Cornell University)|2021. 08. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 80

한 줄 요약

SDEdit는 조건부 GANs가 요구하는 쌍체 데이터셋이나 작업별 손실 함수 없이도 재학습 없이도 영구적으로 유연하게 이미지 합성 및 편집이 가능한 새로운 이미지 편집 프레임워크를 제안한다. 역방향 SDE 역동성을 통해 노이즈가 첨가된 입력을 점차적으로 잡음 제거함으로써, 사용자 입력(예: 스트로크 또는 복합 영역)에 따라 유도되는 고품질의 이미지 생성 및 편집을 달성하며, 일반화 능력과 적응성 면에서 조건부 GANs를 능가한다.

ABSTRACT

We introduce a new image editing and synthesis framework, Stochastic Differential Editing (SDEdit), based on a recent generative model using stochastic differential equations (SDEs). Given an input image with user edits (e.g., hand-drawn color strokes), we first add noise to the input according to an SDE, and subsequently denoise it by simulating the reverse SDE to gradually increase its likelihood under the prior. Our method does not require task-specific loss function designs, which are critical components for recent image editing methods based on GAN inversion. Compared to conditional GANs, we do not need to collect new datasets of original and edited images for new applications. Therefore, our method can quickly adapt to various editing tasks at test time without re-training models. Our approach achieves strong performance on a wide range of applications, including image synthesis and editing guided by stroke paintings and image compositing.

연구 동기 및 목표

• 재학습 없이도 테스트 시점에 새로운 편집 작업에 적응할 수 있는 영구적인 이미지 편집 프레임워크를 개발하는 것.
• 조건부 GANs가 요구하는 원본 및 편집된 이미지의 쌍체 데이터셋 수집이 필요 없도록 하는 것.
• 최근의 GAN 기반 편집 방법에서 흔히 발생하는 작업별 손실 함수 설계의 병목 현상을 피하는 것.
• 사용자 제공 편집 정보만을 사용하여 사전 학습된 확산 모델을 기반으로 고품질의 이미지 합성 및 편집을 수행하는 것.
• 스트로크 유도 편집 및 이미지 복합화와 같은 다양한 편집 작업에서 뛰어난 성능을 달성하는 것.

제안 방법

• 메서드는 입력 이미지에 전방 SDE를 적용하여 노이즈를 첨가함으로써 확산 과정으로 변환한다.
• 그 후 역방향 SDE 역동성을 적용하여 점차적으로 이미지를 잡음 제거하며, 학습된 데이터 사전 확률에 대한 가능도를 증가시킨다.
• 사용자 편집(예: 색상 스트로크 또는 복합 영역)은 역방향 SDE의 잡음 제거 과정 동안 조건부 신호로 통합된다.
• 사전 학습된 스코어 기반 생성 모델을 활용함으로써 기반 확산 모델의 미세조정이나 재학습이 필요 없도록 한다.
• 역방향 SDE는 수치적 적분을 통해 해결되어 고품질의 편집된 이미지로 점진적인 개선을 가능하게 한다.
• 이 방법은 본질적으로 일반화 능력이 뛰어나 있어 추론 시점에 새로운 편집 작업에 빠르게 적응할 수 있다.

실험 결과

연구 질문

• RQ1 재학습이나 미세조정 없이도 단일 사전 학습된 확산 모델이 다양한 이미지 편집 작업에 활용될 수 있는가?
• RQ2 쌍체 데이터셋과 작업별 손실 함수가 필요한 조건부 GANs와 비교해 SDEdit는 어떤 성능을 보이는가?
• RQ3 손으로 그린 스트로크와 같은 사용자 편집이 영구적인 방식으로 이미지 생성 과정을 얼마나 잘 유도할 수 있는가?
• RQ4 SDEdit는 복합화 및 스트로크 편집과 같은 다수의 응용 분야에서 고해상도의 이미지 합성 및 편집을 달성할 수 있는가?
• RQ5 SDE 기반 잡음 제거 방법과 대안적인 최적화 기반 또는 GAN 기반의 역전환 방법 간의 영향은 어떠한가?

주요 결과

• SDEdit는 작업별 손실 함수가 필요 없이도 강력한 성능을 달성하여 설계 복잡도를 감소시킨다.
• 메서드는 테스트 시점에 새로운 편집 작업에 영구적으로 적응할 수 있으며, 재학습이나 미세조정이 필요 없도록 한다.
• 모든 편집 작업에 대해 쌍체 학습 데이터가 필요로 하지 않기 때문에, 조건부 GAN 기반 방법보다 일반화 능력 면에서 뛰어나다.
• 스트로크 페인팅과 이미지 복합화를 포함한 다양한 편집 입력을 고품질의 시각적 일관성 유지하면서 성공적으로 처리한다.
• 역방향 SDE 역동성을 활용함으로써 사용자 편집과 잘 일치하는 고품질의 출력물을 생성하며, 구조적 및 의미적 일관성을 잘 유지한다.