[논문 리뷰] Blended Latent Diffusion

Omri Avrahami, Ohad Fried외 1명|arXiv (Cornell University)|2022. 06. 06.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 사전 훈련된 텍스트-이미지 확산 모델의 잠재공간에서 작동하는 제로샷, 가속화된 국소 텍스트 유도 이미지 편집 방법인 블렌디드 잠재확산(Blended Latent Diffusion)을 소개한다. 확산 과정 중에 잠재변수를 혼합하고 재구성 최적화를 수행함으로써, 이전 방법들보다 더 빠른 추론 속도와 높은 정밀도를 달성하며, 특히 얇은 마스크와 민감한 이미지 영역에서 뛰어난 성능을 보인다.

ABSTRACT

The tremendous progress in neural image generation, coupled with the emergence of seemingly omnipotent vision-language models has finally enabled text-based interfaces for creating and editing images. Handling generic images requires a diverse underlying generative model, hence the latest works utilize diffusion models, which were shown to surpass GANs in terms of diversity. One major drawback of diffusion models, however, is their relatively slow inference time. In this paper, we present an accelerated solution to the task of local text-driven editing of generic images, where the desired edits are confined to a user-provided mask. Our solution leverages a recent text-to-image Latent Diffusion Model (LDM), which speeds up diffusion by operating in a lower-dimensional latent space. We first convert the LDM into a local image editor by incorporating Blended Diffusion into it. Next we propose an optimization-based solution for the inherent inability of this LDM to accurately reconstruct images. Finally, we address the scenario of performing local edits using thin masks. We evaluate our method against the available baselines both qualitatively and quantitatively and demonstrate that in addition to being faster, our method achieves better precision than the baselines while mitigating some of their artifacts.

연구 동기 및 목표

• 일반적인 이미지에 대해 효율적이고 정밀한 국소 텍스트 기반 이미지 편집 방법의 부족을 해결한다.
• 국소 편집 작업에서 픽셀 수준의 확산 모델의 느린 추론 속도를 극복한다.
• 원본 이미지의 세부 사항을 유지하면서도, 특히 얼굴이나 텍스트와 같은 민감한 영역에서 고해상도의 국소 편집을 가능하게 한다.
• 낮은 해상도의 잠재공간에서 다루기 어려운 얇은 마스크 내 편집 문제를 해결한다.
• 추가 훈련이나 미세조정 없이 사전 훈련된 모델만을 사용하는 제로샷 솔루션을 제공한다.

제안 방법

• 잠재확산 모델(Latent Diffusion Model, LDM)의 잠재공간에서 작동하도록 블렌디드 확산(Blended Diffusion)을 적응시켜, 픽셀 수준의 혼합을 잠재수준의 혼합으로 대체함으로써 추론 속도를 가속화한다.
• VAE 기반의 손실 있는 인코딩으로 인한 재구성 오차를 보정하기 위해 잠재공간 최적화 기법을 도입하여, 고감도 영역에서의 정밀도를 향상시킨다.
• 확산 과정 동안 마스크 크기를 점진적으로 감소시켜 얇은 마스크 내 정밀한 편집을 가능하게 하는 확장 마스크 축소 전략을 제안한다.
• CLIP을 활용해 제로샷 텍스트-이미지 정렬을 수행하여 다수의 생성 결과를 순위 매김함으로써 입력 프롬프트와의 보다 우수한 일치를 확보한다.
• 추가 훈련이나 재훈련 없이 사전 훈련된 LDM 및 CLIP 모델을 기반 구성 요소로 사용한다.
• 잠재공간 혼합과 반복 최적화를 결합하여 국소 편집 중 속도, 정밀도, 의미 일관성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 잠재공간에서의 확산가 효과적으로 국소 텍스트 유도 이미지 편집에 적용될 수 있는가? 이때 높은 속도와 정밀도를 유지할 수 있는가?
• RQ2 특히 인지적으로 민감한 영역에서 잠재확산 모델(LDM)의 재구성 아티팩트는 어떻게 완화할 수 있는가?
• RQ3 낮은 해상도의 잠재공간에서 공간적으로 제약이 있는 얇은 마스크 내에서 정확한 국소 편집을 위한 전략은 무엇인가?
• RQ4 기존 베이스라인인 블렌디드 확산(Blended Diffusion)과 GLIDE와 비교해 본다면, 제안된 방법은 속도와 품질 면에서 어떻게 다른가?
• RQ5 입력 프롬프트, 마스크, 또는 이미지 콘텐츠의 미세한 변화에 대해 이 방법은 얼마나 민감한가?

주요 결과

• CLIP 순위 매김을 고려할 경우, 전체 배치 버전의 블렌디드 확산이 관련 비교 기준이 되며, 이는 픽셀 수준의 베이스라인 대비 유의미하게 빠른 추론 속도를 달성한다.
• 정량적 평가에서 빌드 품질과 텍스트 일치도 면에서 통계적으로 유의미한 향상(p < 0.001)을 보이며, 블렌디드 확산, GLIDE-필터링, PaintByWord++를 모두 능가한다.
• 제안된 마스크 축소 전략 덕분에 특히 얇은 마스크 상황에서 더 정밀한 편집 결과를 도출한다.
• 잠재공간 최적화가 고주파 또는 인지적으로 민감한 영역(예: 얼굴, 텍스트)에서 재구성 오차를 효과적으로 감소시킨다.
• 입력 변화에 대해 중간 수준의 민감도를 보이며, 소규모 프롬프트나 마스크 변화는 소규모이지만 타당한 출력 변화로 이어져 제어 가능성의 증거로 작용한다.
• CLIP 기반 순위 매김은 성능 향상에 필수적이며, 단일 샘플 출력은 종종 프롬프트와 일치하지 않으며, 순위 매김을 통해 생성 간 일관성이 향상된다.