[논문 리뷰] T2I-CompBench++: An Enhanced and Comprehensive Benchmark for Compositional Text-to-image Generation

Kaiyi Huang, Duan, Chengqi외 4명|arXiv (Cornell University)|2023. 07. 12.

Multimodal Machine Learning Applications인용 수 23

한 줄 요약

T2I-CompBench++를 개방형 월드 구성적 텍스트-투-이미지 생성용 포괄적 6,000-prompt 벤치마크와 새로운 평가 지표 및 확산 모델의 구성성(구성성)을 향상시키는 GORS 미세조정 접근법을 도입한다.

ABSTRACT

Despite the impressive advances in text-to-image models, they often struggle to effectively compose complex scenes with multiple objects, displaying various attributes and relationships. To address this challenge, we present T2I-CompBench++, an enhanced benchmark for compositional text-to-image generation. T2I-CompBench++ comprises 8,000 compositional text prompts categorized into four primary groups: attribute binding, object relationships, generative numeracy, and complex compositions. These are further divided into eight sub-categories, including newly introduced ones like 3D-spatial relationships and numeracy. In addition to the benchmark, we propose enhanced evaluation metrics designed to assess these diverse compositional challenges. These include a detection-based metric tailored for evaluating 3D-spatial relationships and numeracy, and an analysis leveraging Multimodal Large Language Models (MLLMs), i.e. GPT-4V, ShareGPT4v as evaluation metrics. Our experiments benchmark 11 text-to-image models, including state-of-the-art models, such as FLUX.1, SD3, DALLE-3, Pixart-$α$, and SD-XL on T2I-CompBench++. We also conduct comprehensive evaluations to validate the effectiveness of our metrics and explore the potential and limitations of MLLMs.

연구 동기 및 목표

• 속성 바인딩, 객체 관계, 복합 구성 등을 포함하는 개방형 월드 구성적 텍스트-투-이미지 생성에 대한 포괄적 벤치마크를 정의한다.
• 구성적 프롬프트에 맞춘 평가 지표를 제안하고 인간 판단과의 상관성을 평가한다.
• 벤치마크에서 기존 T2I 모델을 평가하여 구성성의 강점과 한계를 파악한다.
• 프리트레인 확산 모델의 구성적 생성을 향상시키기 위한 보상 주도 미세조정(GORS) 접근법을 도입한다.

제안 방법

• 속성 바인딩, 객체 관계, 복합 구성의 3개 카테고리와 색상, 형태, 질감, 공간적, 비공간적, 복합의 6개 하위 카테고리를 아우르는 6,000 프롬프트를 구성한다.
• 카테고리별 평가 지표를 제안한다: 속성 바인딩을 위한 해리된 BLIP-VQA, 공간 관계 지표로 UniDet 기반 지표, 복합 프롬프트를 위한 3-in-1 메트릭; LLM 기반 프로브로 MiniGPT-4 CoT를 탐구한다.
• Prompt와 생성 이미지 간 정렬을 기반으로 보상 가중 손실을 사용하여 Stable Diffusion v2를 미세조정하는 보상 주도 샘플 선택(GORS)을 도입한다.
• CLIP 텍스트 인코더와 U-Net을 모두 강화학습형 구성에서 높은 정합도 샘플을 선택하여 LoRA로 미세조정한다.
• 새로운 벤치마크와 메트릭에서 여섯 개의 T2I 모델(Stable Diffusion v1/v2, Composable Diffusion, Structured Diffusion, Attend-and-Excite 포함)을 벤치마크한다.

실험 결과

연구 질문

• RQ1 기존의 개방형 월드 구성적 T2I 모델은 속성 바인딩, 객체 관계, 복합 구성에서 얼마나 잘 수행하는가?
• RQ2 새로운 구성 특화 평가 지표가 전통적인 CLIP/BLIP 기반 점수보다 인간 판단과 더 잘 일치하는가?
• RQ3 보상 주도 미세조정(GORS)이 광범위한 재학습 없이 구성적 생성을 향상시키는 효과가 있는가?
• RQ4 다중모달 대형언어모델이 구성적 T2I 출력에 대해 신뢰할 수 있는 통합 평가 신호를 제공하는가?
• RQ5 개방형 월드 구성적 T2I를 위한 현재 벤치마크와 지표의 한계와 실패 사례는 무엇인가?

주요 결과

• GORS는 모든 카테고리에서 구성 성능을 일관되게 향상시키며 자동 평가와 인간 평가에서 베이스라인을 앞선다.
• 해리된 BLIP-VQA 및 UniDet 기반 지표가 속성 바인딩과 공간 관계에 대해 CLIP 기반 지표보다 인간 판단과의 상관관계가 높다.
• 3-in-1 메트릭은 CLIPScore, BLIP-VQA, UniDet 점수를 평균해 복합 프롬프트에 대한 균형 잡힌 평가를 제공한다.
• Stable Diffusion v2는 일반적으로 구성 프롬프트에서 v1-4 대비 우수한 성능을 보이나, 일부 기존 방법(예: Composable Diffusion)은 v2 기준에서 이익이 제한적이다.
• Chain-of-Thought를 가진 MiniGPT-4가 통합 평가 신호로 가능성을 보이나 현재 인간 판단과의 상관은 제안된 지표들에 비해 제한적이다.