[논문 리뷰] Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

Xingqian Xu, Jiayi Guo외 4명|arXiv (Cornell University)|2023. 05. 25.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 참조 이미지와 선택적 구조 조건을 기반으로 고품질의 개인화된 이미지를 생성하는 프롬프트 없는 디퓨전(_prompt-free diffusion_) 프레임워크를 소개한다. 텍스트 프롬프트가 필요 없도록 텍스트 인코더를 참조 이미지의 의미 있는 표현으로 매핑하는 새로운 시맨틱 컨텍스트 인코더(SeeCoder)로 대체함으로써, 기존의 상태최적의 텍스트 기반 이미지 생성 모델과 동등한 성능을 달성하면서도 다양한 디퓨전 모델과 후속 작업(예: 애니메이션 생성, 가상 시도 등)으로의 원활한 재사용을 가능하게 한다.

ABSTRACT

Text-to-image (T2I) research has grown explosively in the past year, owing to the large-scale pre-trained diffusion models and many emerging personalization and editing approaches. Yet, one pain point persists: the text prompt engineering, and searching high-quality text prompts for customized results is more art than science. Moreover, as commonly argued: "an image is worth a thousand words" - the attempt to describe a desired image with texts often ends up being ambiguous and cannot comprehensively cover delicate visual details, hence necessitating more additional controls from the visual domain. In this paper, we take a bold step forward: taking "Text" out of a pre-trained T2I diffusion model, to reduce the burdensome prompt engineering efforts for users. Our proposed framework, Prompt-Free Diffusion, relies on only visual inputs to generate new images: it takes a reference image as "context", an optional image structural conditioning, and an initial noise, with absolutely no text prompt. The core architecture behind the scene is Semantic Context Encoder (SeeCoder), substituting the commonly used CLIP-based or LLM-based text encoder. The reusability of SeeCoder also makes it a convenient drop-in component: one can also pre-train a SeeCoder in one T2I model and reuse it for another. Through extensive experiments, Prompt-Free Diffusion is experimentally found to (i) outperform prior exemplar-based image synthesis approaches; (ii) perform on par with state-of-the-art T2I models using prompts following the best practice; and (iii) be naturally extensible to other downstream applications such as anime figure generation and virtual try-on, with promising quality. Our code and models are open-sourced at https://github.com/SHI-Labs/Prompt-Free-Diffusion.

연구 동기 및 목표

• 텍스트 기반 이미지 디퓨전 모델에서 지속적인 프롬프트 엔지니어링 문제를 해결하기 위해, 이는 시간이 오래 걸리고 종종 정확도가 떨어지기 때문이다.
• 텍스트 프롬프트에 의존하는 것을 없애기 위해 참조 이미지의 시각적 맥락으로 대체한다.
• 다양한 사전 훈련된 텍스트 기반 이미지 디퓨전 모델에 적용할 수 있는 재사용 가능하고 즉시 사용 가능한 시각적 인코더(SeeCoder)를 개발한다.
• 프롬프트 기반 또는 제어 기반 방법보다 더 높은 의미적 정확도와 스타일 충실도를 확보한 정밀하고 제어 가능한 이미지 생성을 가능하게 한다.
• 재학습 없이도 애니메이션 캐릭터 생성 및 가상 시도와 같은 실용적 응용 분야로의 확장이 가능하도록 한다.

제안 방법

• 참조 이미지를 의미 있는 임베딩으로 변환할 수 있는 시각 기반 인코더인 시맨틱 컨텍스트 인코더(SeeCoder)를 도입한다. 이는 텍스트가 필요 없이 작동한다.
• 사전 훈련된 텍스트 기반 이미지 디퓨전 모델의 CLIP 기반 텍스트 인코더를 SeeCoder로 대체하여 프롬프트 없는 생성을 가능하게 한다.
• SeeCoder에서 생성된 시각적 임베딩을 조건부 입력으로 사용하여 이미지 생성을 유도하며, 동시에 에지맵이나 자세맵과 같은 구조적 조건을 선택적으로 통합할 수 있다.
• 전체적 의미와 국소적 텍스처를 모두 인코딩할 수 있도록 SeeCoder에 이중 브런치 아키텍처를 도입하여 정밀도와 제어력을 향상시킨다.
• 대규모의 이미지-참조 쌍 데이터셋에서 SeeCoder를 엔드 투 엔드로 훈련하여 시각적 특징을 원하는 생성 결과와 정렬시킨다.
• 사전 훈련된 SeeCoder를 동결하고 다른 디퓨전 모델에 직접 통합함으로써 피지컬 테이닝 없이 제로샷 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시각 기반 인코더가 텍스트 기반 이미지 디퓨전 모델에서 텍스트 프롬프트를 대체할 수 있을까? 이는 생성 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 시각적 맥락 인코더(SeeCoder)가 다양한 텍스트 기반 이미지 디퓨전 모델 간에 얼마나 잘 일반화되는가?
• RQ3 제안된 프레임워크가 개인화된 이미지 생성에서 프롬프트 기반 또는 제어 기반 방법과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 SeeCoder가 재학습 없이도 다양한 도메인(예: 애니메이션, 사실적 이미지, 예술) 간에 얼마나 잘 재사용될 수 있는가?
• RQ5 가상 시도 및 애니메이션 캐릭터 생성과 같은 실용적 후속 작업으로의 확장이 최소한의 수정으로 가능할까?

주요 결과

• Prompt-Free Diffusion은 정성적 및 정량적 평가에서 이전의 예시 기반 이미지 합성 방법보다 뛰어난 성능을 보였다.
• 어떠한 텍스트 입력 없이도 최적의 프롬프트 엔지니어링을 사용한 최신 기술 수준의 텍스트 기반 이미지 모델과 동등한 성능을 달성했다.
• SeeCoder는 강력한 일반화 능력을 보이며, 사전 훈련 없이도 SD1.5, RealisticVision-V2, OAM-V2를 포함한 일곱 가지 다양한 디퓨전 모델에서 고품질 결과를 내놓았다.
• 공간 인코딩을 통합한 SeeCoder-PA는 표준 SeeCoder에 비해 특히 텍스처 및 스타일 복원에서 뛰어난 품질을 달성했다.
• 이미지 변형 및 가상 시도 작업에서, SeeCoder는 Dual-ControlNet에 비해 텍스처 품질, 색상 일관성, 스타일 충실도에서 뛰어난 성능을 보였다.
• 최소한의 아키텍처 변경으로도 고품질의 애니메이션 캐릭터 생성 및 가상 시도를 가능하게 하여 강력한 실용적 적용 가능성을 입증했다.