[논문 리뷰] Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

Wenkai Dong, Song Xue외 2명|arXiv (Cornell University)|2023. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 확산 모델을 위한 사용자 친화적인 텍스트 기반 이미지 편집 방법인 프롬프트 튜닝 인버전(PTI)을 제안한다. 이 방법은 입력 이미지의 내용을 학습 가능한 조건부 임베딩으로 인코딩하여 고정밀 복원 및 편집을 가능하게 한다. 타겟 텍스트 임베딩과 최적화된 이미지 임베딩 사이를 선형 보간함으로써 PTI는 편집 가능성과 정밀도 사이의 우수한 트레이드오프를 달성하며, ImageNet에서 PSNR 25.71과 SSIM 0.8501을 기록하여 최신 기준 기반 방법들을 능가한다.

ABSTRACT

Recently large-scale language-image models (e.g., text-guided diffusion models) have considerably improved the image generation capabilities to generate photorealistic images in various domains. Based on this success, current image editing methods use texts to achieve intuitive and versatile modification of images. To edit a real image using diffusion models, one must first invert the image to a noisy latent from which an edited image is sampled with a target text prompt. However, most methods lack one of the following: user-friendliness (e.g., additional masks or precise descriptions of the input image are required), generalization to larger domains, or high fidelity to the input image. In this paper, we design an accurate and quick inversion technique, Prompt Tuning Inversion, for text-driven image editing. Specifically, our proposed editing method consists of a reconstruction stage and an editing stage. In the first stage, we encode the information of the input image into a learnable conditional embedding via Prompt Tuning Inversion. In the second stage, we apply classifier-free guidance to sample the edited image, where the conditional embedding is calculated by linearly interpolating between the target embedding and the optimized one obtained in the first stage. This technique ensures a superior trade-off between editability and high fidelity to the input image of our method. For example, we can change the color of a specific object while preserving its original shape and background under the guidance of only a target text prompt. Extensive experiments on ImageNet demonstrate the superior editing performance of our method compared to the state-of-the-art baselines.

연구 동기 및 목표

• 마스크나 정확한 소스 기술이 필요한 기존 텍스트 기반 이미지 편집 방법의 한계를 해결하기 위해.
• 확산 모델을 사용해 노이즈가 섞인 잠재 공간에서 입력 이미지를 정확히 복원함으로써 이미지 편집의 정밀도를 향상시키기 위해.
• 입력 이미지와 타겟 텍스트 프롬프트만으로 직관적이고 사용자 친화적인 편집을 가능하게 하기 위해.
• 도메인 특화 미세조정 없이 다양한 이미지 도메인으로 일반화하기 위해.
• 입력 이미지의 구조적 세부 정보 유지와 편집 가능성 사이의 균형 잡힌 트레이드오프를 달성하기 위해.

제안 방법

• 프롬프트 튜닝 인버전(PTI)을 제안하며, 이는 복원과 편집의 두 단계로 구성된 방법이다.
• 복원 단계에서, 프롬프트 튜닝 벡터의 최적화를 통해 입력 이미지 특징을 학습 가능한 조건부 임베딩으로 인코딩한다.
• 샘플링 중에 지시자 없는 가이던스를 사용하며, 가이던스 스케일을 7.5로 설정하여 이미지 품질을 향상시킨다.
• 편집 단계에서, 타겟 텍스트 임베딩과 최적화된 이미지 임베딩 사이를 선형 보간하여 새로운 조건부 임베딩을 생성한다.
• 보간된 임베딩은 확산 모델이 입력 구조를 유지하면서도 타겟 텍스트와 일치하는 편집된 이미지를 생성하도록 이끈다.
• 조건부 임베딩의 정밀한 최적화를 보장하기 위해 미분 가능 최적화 프로세스를 활용하여 빠르고 정확한 인버전을 실현한다.

실험 결과

연구 질문

• RQ1 확산 모델에서 노이즈가 섞인 잠재 공간에서 실제 이미지를 복원하기 위해 학습 가능한 조건부 임베딩을 효과적으로 최적화할 수 있는가?
• RQ2 타겟 텍스트 임베딩과 최적화된 이미지 임베딩 사이의 보간이 편집 가능성과 정밀도 사이의 균형을 향상시키는가?
• RQ3 제안된 방법이 사용자 제공 마스크나 세부적인 소스 기술 없이도 고정밀도 편집을 달성할 수 있는가?
• RQ4 재구성 품질과 편집 성능 측면에서 DDIM 및 Null-Text Inversion과 같은 기존의 인버전 기법과 비교해 어떻게 성능을 냈는가?
• RQ5 편집 가능성-정밀도 트레이드오프에 가장 큰 영향을 미치는 하이퍼파라미터, 예를 들어 보간 비율과 학습률은 무엇인가?

주요 결과

• PTI는 ImageNet에서 PSNR 25.71과 SSIM 0.8501을 기록하여 NTI(24.45 PSNR, 0.8270 SSIM)와 DDIM(13.64 PSNR, 0.4641 SSIM)를 모두 능가한다.
• 모든 학습률 및 반복 설정에서 NTI보다 빠르게 수렴하고 더 높은 복원 품질을 달성한다.
• 절단 실험 결과, 보간 비율(η)이 0.9일 때 편집 가능성과 정밀도 사이의 최적 트레이드오프를 달성하며, 이보다 낮은 값은 성능 저하를 초래한다.
• 학습률(β)을 0.1에서 0.01으로 감소시키면 CSFID-LPIPS 점수가 악화되며, 이는 높은 학습률이 편집의 균형을 향상시킨다는 것을 시사한다.
• 강력한 성능에도 불구하고, 동일한 객체(예: 여러 마리의 철수)를 동시에 편집하지 못하는 실패 사례가 존재한다.
• 이 방법은 다양한 이미지 도메인에서 효과적이며, 마스크나 소스 텍스트 기술 없이도 작동하여 사용성 향상을 이룬다.