[논문 리뷰] UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image

Dani Valevski, Matan Kalman외 4명|arXiv (Cornell University)|2022. 10. 17.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

UniTune는 한 장의 이미지에 대해 미세조정을 통해 텍스트 기반 이미지 편집을 가능하게 하며, 마스크나 스케치 없이도 높은 시각적 및 의미적 정밀도를 유지합니다. 복잡한 편집(예: 옷, 자세, 스타일 변경)을 위해 미세조정과 분류자 없는 가이던스, 노이즈 주입을 조합하여 최소한의 사용자 입력으로 고품질의 단일 이미지 편집을 구현합니다.

ABSTRACT

Text-driven image generation methods have shown impressive results recently, allowing casual users to generate high quality images by providing textual descriptions. However, similar capabilities for editing existing images are still out of reach. Text-driven image editing methods usually need edit masks, struggle with edits that require significant visual changes and cannot easily keep specific details of the edited portion. In this paper we make the observation that image-generation models can be converted to image-editing models simply by fine-tuning them on a single image. We also show that initializing the stochastic sampler with a noised version of the base image before the sampling and interpolating relevant details from the base image after sampling further increase the quality of the edit operation. Combining these observations, we propose UniTune, a novel image editing method. UniTune gets as input an arbitrary image and a textual edit description, and carries out the edit while maintaining high fidelity to the input image. UniTune does not require additional inputs, like masks or sketches, and can perform multiple edits on the same image without retraining. We test our method using the Imagen model in a range of different use cases. We demonstrate that it is broadly applicable and can perform a surprisingly wide range of expressive editing operations, including those requiring significant visual changes that were previously impossible.

연구 동기 및 목표

• 편집 마스크, 스케치, 또는 다중 입력 없이도 고정밀도의 텍스트 기반 이미지 편집을 가능하게 하기 위해.
• 단일 이미지에 대해 사전 훈련된 확산 모델을 미세조정할 경우, 시각적 및 의미적 세부 정보를 유지하면서도 표현력 있는 편집이 가능한지 탐구하기 위해.
• 원본 이미지의 정밀도와 편집의 표현력 사이의 균형을 유지하는 방법을 개발하기 위해, 특히 시각적 변화가 큰 경우에도 유의미하게 유지하기 위해.
• 분류자 없는 가이던스와 노이즈 주입이 편집 품질을 향상시키면서도 정밀도를 유지하는 데 기여할 수 있는지 입증하기 위해.
• 재학습 없이도 동일한 이미지에 대해 다수의 편집을 수행할 수 있도록 하여 다양한 편집 작업에 광범위하게 적용 가능하도록 하기 위해.

제안 방법

• 텍스트-이미지 확산 모델(예: Imagen)을 단일 이미지-프롬프트 쌍에 대해 미세조정하여 모델이 입력 이미지와 일치하는 출력을 생성하도록 유도하기 위해.
• 샘플링 중에 분류자 없는 가이던스를 사용하여 원본 이미지의 정밀도와 새로운 프롬프트에 대한 부합도 사이의 트레이드오���을 제어하기 위해.
• 기본 이미지의 노이즈 버전을 확률적 샘플러의 초기값으로 사용하여, 복원 과정이 구조적 및 의미적 세부 정보를 유지하도록 유도하기 위해.
• 샘플링 후에 관련 시각적 특징(예: 얼굴, 질감)을 기본 이미지에서 추출하여 생성된 출력에 통합하여 정밀도를 향상시키기 위해.
• 재학습 없이도 동일한 이미지에 대해 반복적인 편집을 허용하기 위해 미세조정된 모델을 재사용하여 반복 편집을 가능하게 하기 위해.
• 사전 훈련된 모델이 지닌 광범위한 시각적 및 의미적 지식을 활용하여, 단순한 인painting을 넘어서 전반적인 스타일 이동, 복잡한 자세나 객체 변경 등의 편집을 수행하기 위해.

Figure 1. UniTune edits preserving visual and semantic fidelity to the user supplied image.

실험 결과

연구 질문

• RQ1 단일 이미지-프롬프트 쌍에 대해 확산 모델을 미세조정할 경우, 편집 마스크나 추가 입력 없이도 고정밀도의 텍스트 기반 이미지 편집이 가능한가?
• RQ2 미세조정된 확산 모델이 시각적 변화가 큰 경우(예: 옷이나 스타일 변경)에도 시각적 및 의미적 세부 정보(예: 정체성, 자세, 질감)를 어느 정도 유지할 수 있는가?
• RQ3 분류자 없는 가이던스와 노이즈 주입을 어떻게 조합하여 편집의 정밀도와 표현력 사이의 균형을 조절할 수 있는가?
• RQ4 동일한 미세조정된 모델이 재학습 없이도 동일한 이미지에 대해 다수의 편집을 수행할 수 있는가?
• RQ5 국소적 또는 마스크 기반 편집의 경우, 단일 고품질 결과를 생성하는 데 있어 어떤 한계가 존재하는가?

주요 결과

• UniTune는 옷, 자세, 스타일 변경과 같은 복잡한 편집을 수행하면서도 정체성과 의미적 구조를 유지하는 데 성공하였으며, 특히 큰 시각적 변화가 필요한 경우에도 유사합니다.
• 배경이나 객체 수준의 편집을 수행할 때도 얼굴과 같은 편집되지 않은 영역에서 높은 시각적 정밀도를 유지합니다.
• 단일 이미지-프롬프트 쌍에 대한 미세조정이 모델의 사전 훈련된 능력을 치명적으로 잃는 데 영향을 주지 않으며, 다양한 도메인에서 다양한 편집을 수행할 수 있도록 합니다.
• 분류자 없는 가이던스와 노이즈 주입은 정밀도와 표현력 사이의 균형을 개선하여 편집 품질을 크게 향상시키며, 샘플링 파라미터 조정을 통해 최적의 균형을 유연하게 조절할 수 있습니다.
• 재학습 없이도 동일한 이미지에 대해 다수의 편집을 수행할 수 있어 재사용성과 확장성을 입증합니다.
• 소규모 또는 마스크 기반 편집의 경우 단일 고품질 결과를 생성하는 데 도전 과제가 있지만, 전반적인 스타일 이동이나 카리커처 스타일의 편집을 포함한 다양한 사용 사례에서 일관되게 고정밀도 출력을 생성합니다.

Figure 2. UniTune maintains high visual fidelity in unaffected areas of the image when making localized edits (e.g. the faces when adding a train to the background), and high semantic fidelity when making global edits (e.g. when changing the style of the entire image).