[논문 리뷰] LEDITS: Real Image Editing with DDPM Inversion and Semantic Guidance

Linoy Tsaban, Apolinário Passos|arXiv (Cornell University)|2023. 07. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 8

한 줄 요약

LEDITS는 DDPM 역전과 SEGA 시맨틱 가이던스를 결합하여 모델 아키텍처를 변경하지 않고도 경량의 융통성 있는 방식으로 실제 이미지를 편집합니다.

ABSTRACT

Recent large-scale text-guided diffusion models provide powerful image-generation capabilities. Currently, a significant effort is given to enable the modification of these images using text only as means to offer intuitive and versatile editing. However, editing proves to be difficult for these generative models due to the inherent nature of editing techniques, which involves preserving certain content from the original image. Conversely, in text-based models, even minor modifications to the text prompt frequently result in an entirely distinct result, making attaining one-shot generation that accurately corresponds to the users intent exceedingly challenging. In addition, to edit a real image using these state-of-the-art tools, one must first invert the image into the pre-trained models domain - adding another factor affecting the edit quality, as well as latency. In this exploratory report, we propose LEDITS - a combined lightweight approach for real-image editing, incorporating the Edit Friendly DDPM inversion technique with Semantic Guidance, thus extending Semantic Guidance to real image editing, while harnessing the editing capabilities of DDPM inversion as well. This approach achieves versatile edits, both subtle and extensive as well as alterations in composition and style, while requiring no optimization nor extensions to the architecture.

연구 동기 및 목표

• 텍스트-가이드 확산 모델로 실제 이미지 편집을 촉진하고 편집 도전과제를 다루는 것.
• 실제 이미지에서 시맨틱 가이드 편집을 가능하게 하는 DDPM 역전과 SEGA의 경량 통합을 제안한다.
• DDPM 역전과 SEGA를 결합하면 충실도와 시맨틱 제어를 유지하면서도 다재다능한 편집이 가능하다는 것을 보여준다.
• 해당 방법이 경량이며 모델 아키텍처의 변경이 필요 없음을 입증한다.

제안 방법

• 입력 이미지에 대해 DDPM 역전을 수행하여 역전된 latents와 노이즈 맵을 얻는다.
• 대상 프롬프트와 SEGA 개념을 인코딩하여 조건 벡터를 얻는다.
• 시맨틱 가이던스에 의해 정보가 제공된 epsilon_theta를 사용한 DDPM 업데이트로 T에서 1까지의 디노이징 루프를 실행한다.
• SEGA-가이드 확산 프로세스 내에서 사전 계산된 노이즈 맵 Z_t를 사용하여 latents x_{t-1}를 업데이트한다.
• 최종 latent x_0를 디코딩하여 편집 이미지를 생성한다.
• 두 가지 편집 워크플로우를 비교한다: SEGA 편집이 포함된 순수 역전과 합진 역전+대상 프롬프트 편집으로, 유연성과 견고성을 강조한다.

Figure 1: LEDITS- DDPM inversion with semantic guidance for real image editing. Real images edited purely with DDPM inversion and with both DDPM inversion and semantic guidance (LEDITS). In this combined approach we first apply DDPM Inversion on the input image, and then edit by performing the rever

실험 결과

연구 질문

• RQ1 LEDITS가 실제 이미지를 충실하게 편집하면서도 상당한 편집이나 미세한 편집을 허용할 수 있는가?
• RQ2 DDPM 역전과 SEGA를 결합하면 원래 이미지에 대한 충실도를 보존하면서 목표 지시 변경을 가능하게 하는가?
• RQ3 유연성과 제어 측면에서 LEDITS가 순수 역전이나 Prompt-to-Prompt와 어떻게 비교되는가?
• RQ4 LEDITS 프레임워크 내에서 SEGA 가이드 벡터가 견고성과 단조성을 유지하는가?

주요 결과

• LEDITS는 아키텍처 변경 없이도 최신 방법과 경쟁력 있는 질적 편집을 제공합니다.
• 이 방법은 DDPM 역전과 SEGA 시맨틱을 결합하여 유연한 제어를 제공합니다.
• LEDITS의 SEGA 가이던스는 견고성과 단조성 특성을 보존합니다.
• 해당 방법은 두 가지 편집 워크플로를 지원하여 순수 역전이나 순수 SEGA 편집을 넘어 다양성과 다재다능성을 가능하게 합니다.
• 통합은 여전히 경량이며 두 구성 기술의 강점을 유지합니다.

Figure 2: LEDITS overview. Top: inversion of the input image. We first apply DDPM inversion on the original image to obtain the inverted latents and corresponding noise maps. Bottom: We use the inverted latents to drive the reverse diffusion process with semantic guidance. In each denoising step we