[논문 리뷰] Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs

Ling Yang, Zhaochen Yu외 4명|arXiv (Cornell University)|2024. 01. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 복잡한 구성적 이미지를 텍스트 프롬프트에서 정확하게 생성하는 데 초점을 맞춘 훈련 없이도 작동하는 텍스트-이미지 확산 프레임워크인 RPG(Recaption, Plan, and Generate)를 제안한다. 다중모odal LLM을 활용해 프롬프트 재작성, 영역별 이미지 구성 계획, 상호보완적 영역 기반 확산을 수행함으로써, DALL-E 3나 SDXL과 같은 최신 기술보다 복잡한 프롬프트 일치성과 다중 객체 구성성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Diffusion models have exhibit exceptional performance in text-to-image generation and editing. However, existing methods often face challenges when handling complex text prompts that involve multiple objects with multiple attributes and relationships. In this paper, we propose a brand new training-free text-to-image generation/editing framework, namely Recaption, Plan and Generate (RPG), harnessing the powerful chain-of-thought reasoning ability of multimodal LLMs to enhance the compositionality of text-to-image diffusion models. Our approach employs the MLLM as a global planner to decompose the process of generating complex images into multiple simpler generation tasks within subregions. We propose complementary regional diffusion to enable region-wise compositional generation. Furthermore, we integrate text-guided image generation and editing within the proposed RPG in a closed-loop fashion, thereby enhancing generalization ability. Extensive experiments demonstrate our RPG outperforms state-of-the-art text-to-image diffusion models, including DALL-E 3 and SDXL, particularly in multi-category object composition and text-image semantic alignment. Notably, our RPG framework exhibits wide compatibility with various MLLM architectures (e.g., MiniGPT-4) and diffusion backbones (e.g., ControlNet). Our code is available at: https://github.com/YangLing0818/RPG-DiffusionMaster

연구 동기 및 목표

• 다양한 객체, 특성, 관계를 포함한 복잡한 텍스트 프롬프트에서 정확하게 구성적인 이미지를 생성하는 데 도전하는 것.
• 기존의 레이아웃 기반 또는 피드백 기반 방법의 한계를 극복하여, 비용이 많이 들거나 훈련이 필요한 방법을 피하고, 근본적인 공간적 제어 기능을 제공하는 것.
• 다중모달 LLM의 추론 및 계획 능력을 활용해 훈련 없이도 제어 가능하고 구성적인 이미지 생성을 가능하게 하는 것.
• 텍스트 기반 이미지 생성과 편집을 닫힌 순환 구조로 통합하여 다양한 프롬프트에 걸쳐 의미 일치도와 일반화 능력을 향상시키는 것.
• 다양한 MLLM 아키텍처와 확산 백본(예: ControlNet, Stable Diffusion XL)과의 넓은 호환성을 확보하는 것.

제안 방법

• 모호하거나 복잡한 프롬프트를 의미적으로 풍부한 하위프롬프트로 변환하여 프롬프트 이해도를 향상시키기 위해 다중모달 LLM을 활용한 다중모달 재작성 수행.
• MLLM 기반의 사고 체인 계획을 도입하여 이미지 생성 작업을 하위 영역으로 분해하고, 각 영역에 고유한 하위프롬프트를 할당하여 체계적인 구성 구현.
• 서로 겹치지 않는 하위영역 내에서 영역별 하위프롬프트를 활용해 독립적으로 이미지 콘텐츠를 생성하는 상호보완적 영역 기반 확산 설계로, 공간 정밀도와 구성 제어 능력을 향상.
• MLLM 기반의 이미지 캡션 생성을 통해 생성된 이미지와 목표 이미지 간의 의미적 불일치를 탐지하고 반복적 개선을 가능하게 하는 닫힌 순환 피드백 메커니즘 통합.
• 영역 분할 및 하위프롬프트 할당을 위한 세부적인 추론 및 정확한 지침을 생성하기 위해 MLLM 기반 추론 활용으로 계획 정확도 향상.
• 계획 단계와 생성 단계를 분리함으로써 다양한 확산 백본(예: ControlNet)과 MLLM 아키텍처(예: MiniGPT-4)와의 호환성을 확보.

실험 결과

연구 질문

• RQ1 다중모달 LLM은 복잡한 텍스트 프롬프트를 의미적으로 일관되고 영역별 하위프롬프트로 효과적으로 분해하여 이미지 구성 품질을 향상시킬 수 있는가?
• RQ2 MLLM의 사고 체인 추론은 텍스트-이미지 생성에서 공간 레이아웃과 하위영역 할당 계획을 어떻게 향상시키는가?
• RQ3 서로 다른 객체나 특성이 겹치거나 상호작용하는 이미지를 생성할 때, 상호보완적 영역 기반 확산이 전역 확산보다 우수한 성능을 보일 수 있는가?
• RQ4 재작성과 피드백을 통합한 닫힌 순환 구조는 생성된 이미지와 입력 프롬프트 간의 의미 일치도를 어느 정도 향상시키는가?
• RQ5 RPG 프레임워크는 피팅 튜닝 없이도 다양한 MLLM 아키텍처와 확산 모델 백본에 대해 얼마나 일반화 가능한가?

주요 결과

• RPG는 DALL-E 3나 SDXL과 같은 최신 기술보다 복잡한 구성적 프롬프트를 정확히 반영하는 이미지를 생성하는 데 뛰어난 성능을 보이며, 특히 다중 카테고리 객체 조합에서 유의미한 우월성을 확보한다.
• 벤치마크 데이터셋에서 구성 정확도와 프롬프트 준수도를 측정함으로써, RPG는 훌륭한 텍스트-이미지 의미 일치도를 달성한다.
• 서로 다른 영역 기반 확산은 이미지 생성 시 정밀한 국소적 제어를 가능하게 하여, 기존의 확산 모델에서 흔히 발생하는 공간적 불일치 및 객체 겹침 문제를 크게 감소시킨다.
• 닫힌 순환 구조의 재작성과 피드백 메커니즘은 생성된 이미지와 입력 프롬프트 간의 의미적 불일치를 효과적으로 탐지하고 수정함으로써 최종 이미지 품질을 향상시킨다.
• RPG는 다양한 MLLM 아키텍처(예: MiniGPT-4)와 확산 백본(예: ControlNet)과의 강력한 호환성을 보이며, 다양한 모델에 대한 탄력적인 배포를 가능하게 한다.
• 이 방법은 훈련 없이 추론 단계에서만 작동하므로, 피팅 튜닝이나 보상 모델 사전학습이 필요 없어 계산 및 데이터 오버헤드를 줄인다.