[논문 리뷰] IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

Ye Hu, Jun Zhang외 3명|arXiv (Cornell University)|2023. 08. 13.

Generative Adversarial Networks and Image Synthesis인용 수 109

한 줄 요약

IP-Adapter는 사전 학습된 텍스트-투-이미지 확산 모델용 경량의 분리된 교차 주의 이미지 프롬프트 어댑터를 도입하여 약 22M 매개변수로 이미지 프롬프트 기능을 달성하고 강한 일반화를 이룬다.

ABSTRACT

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at \url{https://ip-adapter.github.io}.

연구 동기 및 목표

• 기본 확산 모델을 미세조정하지 않고 이미지 프롬프트 생성을 가능하게 한다.
• 이미지 프롬프트를 도입하면서 텍스트-투-이미지 기능을 보존하는 경량 어댑터를 설계한다.
• 같은 기본 모델에서 파생된 맞춤 모델에 대한 강한 일반화와 ControlNet과 같은 제어 가능한 도구와의 호환성을 달성한다.
• 이미지 프롬프트를 텍스트 프롬프트와 결합하여 다중 모달 프롬핑을 시연한다.

제안 방법

• 전역 이미지 임베딩을 생성하기 위해 이미지 인코더(CLIP 이미지 인코더)를 추가한다.
• 분리된 교차 주의를 도입한다: 각 UNet 교차 주의에 이미지 특성용 새로운 교차 주의 레이어를 추가하고, 학습 가능한 K/V 투영을 도입한다.
• 이미지-K/V 투영을 텍스트-K/V에서 초기화하여 수렴 속도를 높이고 어댑터 매개변수만 학습한다 (~22M 총).
• 같은 확산 목적 함수 L_simple로 학습하며, 텍스트 c_t와 이미지 c_i를 조건으로 한다; 이미지/텍스트 프롬 prompts를 무작위로 삭제하여 분류기 없이 안내를 가능하게 한다.
• 추론 시, λ 매개변수로 이미지 안내와 텍스트 안내의 가중치를 선택적으로 조정하여 다중 모달 프롬프트의 균형을 맞춘다.
• 기본 확산 모델을 수정하지 않고 기존의 제어 가능한 어댑터(예: ControlNet)와의 호환성을 시연한다.

실험 결과

연구 질문

• RQ1 기본 모델을 미세조정하지 않고 사전 학습된 텍스트-투-이미지 확산 모델에 이미지 프롬프트를 통합할 수 있는가?
• RQ2 분리된 교차 주의 설계가 이미지 프롬프트의 충실도를 간단한 특징 연결이나 다른 어댑터보다 더 잘 제공하는가?
• RQ3 IP-Adapter가 동일한 기본 모델에서 파생된 맞춤 모델에 재사용 가능하며 기존 제어 도구와 호환되는가?
• RQ4 이미지 프롬프트를 텍스트 프롬프트와 효과적으로 결합해 다중 모달 생성을 가능하게 할 수 있는가?

주요 결과

• 22M 매개변수의 IP-Adapter가 일부 완전히 미세조정된 이미지 프롬프트 모델과 동등하거나 더 나은 성능을 달성한다.
• 분리된 교차 주의 설계가 이미지 특징을 교차 주의에 단순히 연결하는 어댑터보다 더 우수하다.
• IP-Adapter는 같은 기본 모델에서 파생된 맞춤형 모델에서 재사용 가능하고 ControlNet 같은 제어 도구와의 호환성을 유지한다.
• 이 방법은 다중 모달 프롬프트를 지원하여 이미지 및 텍스트 조건의 균형 있는 사용을 가능하게 한다.
• COCO의 정량적 결과는 IP-Adapter가 여러 어댑터를 능가하고 일부 미세조정 기준(C-LIP-T, CLIP-I 지표)과 대등하거나 이를 능가함을 보여준다.