[논문 리뷰] The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing

Shen Nie, Hanzhong Allan Guo외 4명|arXiv (Cornell University)|2023. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 확률적 미분 방정식(SDE)을 사용한 확산 기반 이미지 편집을 위한 통합된 확률적 프레임워크를 제안하며, SDE가 편집 정확도와 일치도에서 ODE보다 일관되게 뛰어남을 입증한다. SDE를 사용해 잠재 변수를 조작하는 방식으로 편집을 정의함으로써, 인painting, 이미지 번역, 점 기반 드래그 등의 작업에서 뛰어난 성능을 달성하였으며, 새로운 벤치마크인 DragBench에서 DragGAN과 DiffEdit-ODE를 포함한 기존 기준보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

We present a unified probabilistic formulation for diffusion-based image editing, where a latent variable is edited in a task-specific manner and generally deviates from the corresponding marginal distribution induced by the original stochastic or ordinary differential equation (SDE or ODE). Instead, it defines a corresponding SDE or ODE for editing. In the formulation, we prove that the Kullback-Leibler divergence between the marginal distributions of the two SDEs gradually decreases while that for the ODEs remains as the time approaches zero, which shows the promise of SDE in image editing. Inspired by it, we provide the SDE counterparts for widely used ODE baselines in various tasks including inpainting and image-to-image translation, where SDE shows a consistent and substantial improvement. Moreover, we propose SDE-Drag -- a simple yet effective method built upon the SDE formulation for point-based content dragging. We build a challenging benchmark (termed DragBench) with open-set natural, art, and AI-generated images for evaluation. A user study on DragBench indicates that SDE-Drag significantly outperforms our ODE baseline, existing diffusion-based methods, and the renowned DragGAN. Our results demonstrate the superiority and versatility of SDE in image editing and push the boundary of diffusion-based editing methods.

연구 동기 및 목표

• 이론적 관점에서 확산 기반 이미지 편집을 이해하기 위한 통합된 확률적 프레임워크가 부족한 문제를 해결하기 위해.
• 유사한 경험적 성능에도 불구하고 SDE 기반 방법이 ODE 기반 방법보다 우월할 수 있는 이유를 탐구하기 위해.
• 잠재 공간에서 반복 최적화를 피하는 점 기반 콘텐츠 드래그를 위한 실용적이고 효과적인 SDE 기반 방법을 개발하기 위해.
• SDE 기반 편집의 일반화 및 강인성을 실사, 예술적, AI 생성 콘텐츠를 포함한 오픈셋 이미지에 대해 평가하기 위해.
• 실제이고 오픈셋 조건에서의 평가를 위해 새로운 벤치마크(DragBench)를 구축하기 위해.

제안 방법

• 편집을 작업별 잠재 변수 조작으로 모델링하고, 원본 모델의 SDE/ODE와는 별개로 새로운 SDE 또는 ODE를 사용해 샘플링하는 통합된 확률적 수식을 제안한다.
• 이론적으로 SDE의 근사 분포 간 Kullback-Leibler(KL) 발산이 시간이 0에 가까워질수록 감소함을 증명하며, 이는 SDE의 우월성에 대한 이론적 근거를 제공한다. 반면 ODE는 이러한 성질이 없다.
• 잠재 공간에서 SDE 역학을 통해 콘텐츠 점을 직접 복사-붙여넣기하는 단순한 방법인 SDE-Drag를 개발하여 다중 단계 최적화를 피한다.
• 편집 강도를 제어하기 위한 새로운 초모수 β를 도입하였으며, 드래그 작업에서는 β=0.3이 최적임을 발견하였고, 복사 작업에서는 β=1이 최적임을 확인하였다.
• 학습된 이동 함수를 사용한 다단계 SDE 샘플링 과정을 활용하여, 잠재 변수가 원하는 편집 방향으로 유도되면서도 이미지 품질을 유지하도록 한다.
• 100개의 오픈셋 이미지(자연 이미지, 예술 작품, AI 생성 콘텐츠 포함)를 포함한 도전적인 벤치마크인 DragBench를 구축하여, 다양한 미리 보지 않은 조건에서 편집 방법을 평가한다.

실험 결과

연구 질문

• RQ1 동일한 사전 학습된 확산 모델에서 유도된 바에도 불구하고, SDE 기반 이미지 편집 방법이 실무에서 ODE 기반 방법보다 뛰어나게 되는 이유는 무엇인가?
• RQ2 인painting, 이미지 간 번역, 점 기반 드래그와 같은 다양한 확산 기반 편집 작업을 일반화할 수 있는 통합된 확률적 수식을 수립할 수 있는가?
• RQ3 SDE의 이론적 우월성, 즉 시간이 지남에 따라 감소하는 KL 발산이 실제로 이미지 편집 품질과 일치도 향상에 측정 가능한 영향을 미치는가?
• RQ4 최적화에 의존하지 않는 단순한 SDE 기반 방법(SDE-Drag)이 기존의 최적화 중심 또는 GAN 기반 접근법에 비해 점 기반 콘텐츠 드래그에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 SDE 기반 방법은 Stable Diffusion 및 DALL·E 3와 같은 고급 확산 모델에서 생성된 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• DragBench 벤치마크에서 SDE-Drag는 ODE 기반 기준, 기존의 확산 기반 방법(DiffEdit-ODE 등), 그리고 DragGAN보다 뚜렷한 사용자 선호도 점수를 확보하였다.
• DiffEdit 작업에서 SDE-Drag는 t₀=0.3일 때 7.20 FID 점수를 기록하여 ODE 기준(7.67 FID)을 능가하였으며, 모든 t₀ 값에서 일관된 향상이 관찰되었다.
• 이미지 간 번역 작업에서 DDIB-SDE는 시각적 비교와 정량적 지표 모두에서 DDIB-ODE보다 더 높은 이미지 정밀도를 확보하였다.
• SDE-Drag는 원본 프롬프트가 없는 경우(예: 머그잔에 번개를 드래그하는 경우)에도 DALL·E 3와 Stable Diffusion에서 생성된 이미지를 성공적으로 편집하여 강력한 프롬프트-이미지 일치도를 보였다.
• 실사 사진, 예술 작품, AI 생성 콘텐츠를 포함한 오픈셋 이미지에 대해 잘 일반화되며, 고도로 이질적인 콘텐츠에 대해서는 실패 사례가 존재한다.
• 제거 실험을 통해 드래그 작업에서는 β=0.3가 최적임을, 복사 작업에서는 β=1이 최적임을 확인하였으며, 다양한 랜덤 시드에서 안정적인 성능을 보였다.