[논문 리뷰] SINE: SINgle Image Editing with Text-to-Image Diffusion Models

Zhixing Zhang, Ligong Han외 3명|arXiv (Cornell University)|2022. 12. 08.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

SINE는 사전 훈련된 텍스트-이미지 확산 모델을 사용하여 단일 이미지 편집을 위한 새로운 방법을 제안한다. 모델 기반 분류자 없는 가이던스와 패치 기반 미세조정을 도입함으로써, 콘텐츠 보존과 언어 지도 편집을 가능하게 하며, 고해상도에 관계없이 고정밀도 이미지 편집을 구현한다. 이는 기존 방법에서 흔히 발생하는 과적합 및 기하학적 왜곡 문제를 해결한다.

ABSTRACT

Recent works on diffusion models have demonstrated a strong capability for conditioning image generation, e.g., text-guided image synthesis. Such success inspires many efforts trying to use large-scale pre-trained diffusion models for tackling a challenging problem--real image editing. Works conducted in this area learn a unique textual token corresponding to several images containing the same object. However, under many circumstances, only one image is available, such as the painting of the Girl with a Pearl Earring. Using existing works on fine-tuning the pre-trained diffusion models with a single image causes severe overfitting issues. The information leakage from the pre-trained diffusion models makes editing can not keep the same content as the given image while creating new features depicted by the language guidance. This work aims to address the problem of single-image editing. We propose a novel model-based guidance built upon the classifier-free guidance so that the knowledge from the model trained on a single image can be distilled into the pre-trained diffusion model, enabling content creation even with one given image. Additionally, we propose a patch-based fine-tuning that can effectively help the model generate images of arbitrary resolution. We provide extensive experiments to validate the design choices of our approach and show promising editing capabilities, including changing style, content addition, and object manipulation. The code is available for research purposes at https://github.com/zhang-zx/SINE.git .

연구 동기 및 목표

• 사전 훈련된 텍스트-이미지 확산 모델을 사용한 단일 이미지 편집 도전 과제를 해결하기 위해, 기존 방법이 과적합과 기하학적 왜곡 문제를 겪는 점을 해결한다.
• 다양한 편집 작업, 예를 들어 스타일 전이, 객체 조작, 해상도 확장 등을 가능하게 하면서 콘텐츠와 구조 보존을 유지한다.
• 동일한 객체의 다수의 이미지가 필요하거나 임의의 해상도에서 실패하는 기존 방법의 한계를 극복한다.
• 대규모 사전 훈련된 모델의 일반화 능력을 활용하면서도, 단일 기준 이미지에 기반한 편집을 가능하게 하는 프레임워크를 개발한다.
• 정체성과 공간 일관성을 유지하면서 언어 지도 편집을 통해 콘텐츠, 스타일, 객체 정체성을 제어할 수 있도록 한다.

제안 방법

• 모델 기반 분류자 없는 가이던스를 도입하여, 단일 이미지에서 미세조정된 확산 모델이 초기 노이즈 제거 단계에서 스코어 가이던스를 제공함으로써 콘텐츠와 구조를 보존한다.
• 이중 단계 노이즈 제거 프로세스를 사용한다: 과적합된 모델에서 초기 가이던스를 통해 콘텐츠를 통합하고, 이후 단계에서 텍스트 프롬프트에 조건부된 사전 훈련된 모델을 사용해 편집을 수행한다.
• 공간적 위치와 콘텐츠를 분리하기 위해 패치 기반 미세조정을 활용하여, 재훈련 없이도 임의의 해상도에서 생성이 가능하도록 한다.
• 학습 가능한 가이던스 가중치 $v$를 사용한 분류자 없는 가이던스를 적용하여, 기준 이미지에 대한 충실도와 사전 훈련된 모델의 창의성 간 균형을 맞춘다.
• 하이브리드 샘플링 전략을 적용하여, 초기 노이즈 제거 단계에서는 사전 훈련된 모델이 미세조정된 모델에 의해 지도되며, 이후 단계에서는 언어 조건부로 전환된다.
• 텍스트 기반 기술자로 목표 콘텐츠를 정의하고, 언어 프롬프트로 원하는 편집을 지도함으로써 스타일 전이, 객체 추가 등의 다양한 편집 작업을 가능하게 한다.

Figure 1 : With only one real image, i.e. , Source Image, our method is able to manipulate and generate the content in various ways, such as changing style, adding context, modifying the object, and enlarging the resolution, through guidance from the text prompt.

실험 결과

연구 질문

• RQ1 단일 기준 이미지만을 사용하여도 콘텐츠 충실도를 유지하면서 다양한 편집을 수행할 수 있는가?
• RQ2 단일 이미지에서 훈련할 경우 미세조정된 확산 모델의 과적합 문제를 어떻게 완화할 수 있는가?
• RQ3 사전 훈련된 텍스트-이미지 확산 모델이 미세조정된 모델에 의해 효과적으로 지도되어 정체성과 구조를 보존할 수 있는가?
• RQ4 아티팩트나 기하학적 왜곡 없이 고해상도 이미지를 생성할 수 있는가?
• RQ5 언어 지도 편집을 통해 콘텐츠, 스타일, 객체 정체성을 제어하면서도 원본 이미지의 공간 레이아웃을 얼마나 잘 유지할 수 있는가?

주요 결과

• 메서드는 스타일 변경, 콘텐츠 추가, 객체 수정과 같은 작업에서도 정체성과 구조를 유지하면서 고정밀도 편집을 달성한다.
• 패치 기반 미세조정 덕분에 임의의 해상도에서 생성이 가능하며, 예를 들어 '진주 귀걸이를 끼고 있는 소녀'의 512×512 그림에서 640×512 해상도의 조각상 이미지를 생성할 수 있다.
• 가이던스 가중치 $v=0.7$는 충실도와 창의성 사이의 균형을 잘 맞추며, 아티팩트를 최소화하고 LPIPS 및 CLIP 점수를 높게 유지한다.
• 메서드는 콘텐츠 제거, 스타일 생성, 이중 모델 스타일 전이와 같은 복잡한 편집 작업을 성공적으로 수행하여 다양한 편집 작업에서의 강건성을 입증한다.
• 기존 방법과 비교해 과적합과 기하학적 아티팩트를 줄이며, 인간 얼굴이나 복잡한 장면과 같은 실세계 이미지에서도 안정적인 성능을 보인다.
• 특히 높은 해상도에서나 애매한 언어 프롬프트를 사용할 경우 공간 일관성과 일반화 능력을 유지하는 데서 기존 방법을 능가한다.

Figure 2 : Overview of our method. (a) Given a source image, we first randomly crop it into patches and get the corresponding latent code $\mathbf{z}$ with the pre-trained encoder. At fine-tune time, the denoising model, $\boldsymbol{\epsilon}_{\theta}$ , takes three inputs: noisy latent $\mathbf{z}