[논문 리뷰] LDEdit: Towards Generalized Text Guided Image Manipulation via Latent Diffusion Models

Paramanand Chandramouli, Kanchana Vaishnavi Gandikota|arXiv (Cornell University)|2022. 10. 05.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

LDEdit는 잠재 확산 모델(LDMs)를 사용하여 일반화된 텍스트 유도 이미지 편집을 위한 최적화 없이 영감을 얻지 않고도 작동하는 제로샷 방법을 제안한다. 잠재 공간 내에서 결정론적 DDIM 샘플링을 활용하고 목표 텍스트 프롬프트에 따라 역확산을 조건화함으로써, 미세조정 없이도 얼굴 특징, 색상, 예술적 스탣과 같은 국소적이고 전역적인 속성을 신속하고도 영리하게 편집할 수 있다. 이는 속도와 사용자 선호도 면에서 기존의 기준들보다 뛰어나다.

ABSTRACT

Research in vision-language models has seen rapid developments off-late, enabling natural language-based interfaces for image generation and manipulation. Many existing text guided manipulation techniques are restricted to specific classes of images, and often require fine-tuning to transfer to a different style or domain. Nevertheless, generic image manipulation using a single model with flexible text inputs is highly desirable. Recent work addresses this task by guiding generative models trained on the generic image datasets using pretrained vision-language encoders. While promising, this approach requires expensive optimization for each input. In this work, we propose an optimization-free method for the task of generic image manipulation from text prompts. Our approach exploits recent Latent Diffusion Models (LDM) for text to image generation to achieve zero-shot text guided manipulation. We employ a deterministic forward diffusion in a lower dimensional latent space, and the desired manipulation is achieved by simply providing the target text to condition the reverse diffusion process. We refer to our approach as LDEdit. We demonstrate the applicability of our method on semantic image manipulation and artistic style transfer. Our method can accomplish image manipulation on diverse domains and enables editing multiple attributes in a straightforward fashion. Extensive experiments demonstrate the benefit of our approach over competing baselines.

연구 동기 및 목표

• 임의의 텍스트 프롬프트를 사용하여 개방 도메인 이미지 편집을 위한 빠르고 영리한 방법을 개발하는 것.
• 기존 방법들이 미세조정이 필요하거나 특정 이미지 클래스나 편집 작업에 제한되는 한계를 극복하는 것.
• 단일 사전 학습된 모델을 사용하여 다수의 속성과 예술적 스타일을 제로샷으로 편집할 수 있도록 하는 것.
• 콘텐츠 일관성과 신원 보존을 유지하면서도 높은 추론 속도와 확장성을 달성하는 것.
• 국소적 편집, 전역적 스타일 전이, 스트로크에서 이미지로의 번역과 같은 다양한 편집 작업을 위한 통합 프레임워크를 제공하는 것.

제안 방법

• 낮은 차원의 잠재 공간에서 텍스트에서 이미지 생성을 위한 사전 학습된 잠재 확산 모델(LDM)을 활용한다.
• 원본 이미지를 공유된 잠재 표현으로 인코딩하기 위해 결정론적 전진 DDIM 샘플링을 사용한다.
• 편집된 이미지를 생성하기 위해 공유된 잠재 코드와 목표 텍스트 프롬프트에 따라 역확산 과정을 조건화한다.
• 원본 이미지에 대한 충실도와 출력의 다양성 사이에서 균형을 이루기 위해 통제된 확률성을 사용한다.
• 사전 학습된 LDM에 텍스트 조건을 직접 적용함으로써 반복 최적화나 미세조정을 피한다.
• 국소적 편집과 스타일 전이와 같은 다양한 편집 작업에 동일한 모델 아키텍처와 추론 파이프라인을 적용한다.

실험 결과

연구 질문

• RQ1 사전 학습된 단일 LDM을 사용하여 최적화나 미세조정 없이 제로샷 텍스트 유도 이미지 편집이 가능한가?
• RQ2 이 방법은 국소적 속성 변경과 전역적 스타일 전이를 포함한 다양한 편집 작업에 얼마나 잘 일반화되는가?
• RQ3 최적화 기반 기준들과 비교했을 때 제안된 방법의 추론 속도와 메모리 효율성은 어떠한가?
• RQ4 VQGAN+CLIP와 DiffusionCLIP와 같은 기존 방법들과 비교했을 때 사용자 선호도에서 LDEdit는 어떻게 평가되는가?
• RQ5 의미적 속성을 수정하면서도 신원과 콘텐츠 구조를 얼마나 잘 보존할 수 있는가?

주요 결과

• 사용자 평가에서 LDEdit는 VQGAN+CLIP 대비 83.87%의 사용자 선호도를 기록하여 강력한 시각적 품질과 편집 정확도를 입증했다.
• DiffusionCLIP 대비 사용자 선호도는 49.15%로, 후자의 미세조정에도 불구하고 경쟁적인 성능을 보였다.
• LDEdit는 단일 이미지에 대해 2.02초 ± 5.58ms의 추론 시간을 기록하여 VQGAN+CLIP(4~6분)보다 훨씬 빠르며, DiffusionCLIP(4.01초~11.54초)와 유사한 속도를 확보했다.
• LDEdit는 단일 이미지 처리에 8.8GB의 GPU 메모리만을 요구하여 VQGAN+CLIP(10.4GB)보다 적고, DiffusionCLIP(5.4GB)보다도 훨씬 적은 메모리로도 유사한 성능을 달성했다.
• 이 방법은 얼굴 이미지에서 메이크업, 표정, 주름 등 여러 속성을 동시에 편집하면서도 신원을 유지하는 데 성공했다.
• LDEdit는 마스크 없이도 텍스트 프롬프트만으로 모자나 안경에 꽃을 추가하는 등의 국소적 편집을 가능하게 했다.