[논문 리뷰] GenEval: An Object-Focused Framework for Evaluating Text-to-Image Alignment

Dhruba Ghosh, Hanna Hajishirzi외 1명|arXiv (Cornell University)|2023. 10. 17.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

GenEval은 객체 탐지와 색상 분류를 이용해 미세한 텍스트-이미지 생성의 검증을 하는 객체 중심의 자동화 프레임워크를 도입하며, 구성적 작업에서 인간 판단과의 정합성이 강하다는 것을 보인다.

ABSTRACT

Recent breakthroughs in diffusion models, multimodal pretraining, and efficient finetuning have led to an explosion of text-to-image generative models. Given human evaluation is expensive and difficult to scale, automated methods are critical for evaluating the increasingly large number of new models. However, most current automated evaluation metrics like FID or CLIPScore only offer a holistic measure of image quality or image-text alignment, and are unsuited for fine-grained or instance-level analysis. In this paper, we introduce GenEval, an object-focused framework to evaluate compositional image properties such as object co-occurrence, position, count, and color. We show that current object detection models can be leveraged to evaluate text-to-image models on a variety of generation tasks with strong human agreement, and that other discriminative vision models can be linked to this pipeline to further verify properties like object color. We then evaluate several open-source text-to-image models and analyze their relative generative capabilities on our benchmark. We find that recent models demonstrate significant improvement on these tasks, though they are still lacking in complex capabilities such as spatial relations and attribute binding. Finally, we demonstrate how GenEval might be used to help discover existing failure modes, in order to inform development of the next generation of text-to-image models. Our code to run the GenEval framework is publicly available at https://github.com/djghosh13/geneval.

연구 동기 및 목표

• FID나 CLIPScore와 같은 holistic metric를 넘어서는 세밀하고 확장 가능한 텍스트-이미지 모델 평가의 필요성에 대한 동기 부여.
• 생성된 이미지에서 프롬프트-객체와 그 속성을 검증하는 자동화된 객체 중심 프레임워크인 GenEval을 제안한다.
• 구성적 작업 전반에서 인간 판단과의 정합성을 시연하고 현대 오픈 소스 T2I 모델들을 분석한다.
• GenEval이 현재 모델 개발의 방향성을 제시할 실패 모드를 어떻게 드러내는지 보여준다.

제안 방법

• 프롬프트를 객체 유형, 개수, 색상, 상대 위치로 분해한다.
• MS COCO에서 Mask2Former를 이용한 최첨단 MMDetection 기반 객체 탐지기를 사용해 객체 존재 여부를 확인하고 바운딩 박스/세그먼테이션을 도출한다.
• 탐지기 출력에서 개수와 상대 위치를 추출해 개수 계산과 공간 관계를 평가한다.
• 잘라낸 객체 영역에서 0샷 CLIP 기반 색상 분류기로 객체 색상을 분류한다.
• 모든 프롬프트 요소가 충족되었는지 여부를 나타내는 이진적 이미지별 정확도 점수를 계산하고 실패 원인을 설명한다.
• GenEval 결과를 인간 주석 및 CLIPScore와 비교해 인간 판단과의 정합성을 평가한다.

Figure 1: Visualization of GenEval . Modern object detection models can be used to automatically verify text-to-image generations. The detected bounding boxes and segmentation masks can be used to verify object presence, count, and position, and then passed to downstream discriminative vision models

실험 결과

연구 질문

• RQ1 자동화된 객체 중심 검증이 복잡한 구성 프롬프트에 대해 인간 판단과의 정합성을 holistic metric보다 높게 달성할 수 있는가?
• RQ2 현대 T2I 모델이 개수 세기, 위치 지정, 속성 바인딩 과제에서 어느 정도 개선되었으며 여전히 어떤 문제에 고전하는가?
• RQ3 객체 탐지기와 색상 분류기 구성요소가 다양한 T2I 모델에 걸쳐 신뢰성 있고 해석 가능한 평가에 어떻게 기여하는가?
• RQ4 GenEval이 현재 오픈소스 모델에서 드러내는 실패 모드가 향후 개선에 어떤 방향을 제시하는가?

주요 결과

모델	단일 객체	두 객체	개수 세기	색상	위치	속성 바인딩	종합	CLIPScore	인간
CLIP retrieval	0.89	0.22	0.37	0.62	0.03	0.00	0.35	27.8	0.42
minDALL-E	0.73	0.11	0.12	0.37	0.02	0.01	0.23	27.3	—
SDv1.5	0.97	0.38	0.35	0.76	0.04	0.06	0.43	33.5	—
SDv2.1	0.98	0.51	0.44	0.85	0.07	0.17	0.50	36.2	0.57
SD-XL	0.98	0.74	0.39	0.85	0.15	0.23	0.55	36.7	—
IF-XL	0.97	0.74	0.66	0.81	0.13	0.35	0.61	36.5	0.72

• GenEval은 인간 주석자와의 전체적 합의도 83%를 달성하며, 88%의 주석자 간 일치도에 근접하고 구성적 작업에서 임계값이 설정된 CLIPScore보다 높다.
• 작업 중에서 개수 세기, 위치 및 속성 바인딩이 인간 합의와의 차이가 가장 큰 것으로 나타나 T2I 모델의 남은 도전 과제를 강조한다.
• IF-XL 및 SD-XL은 초기 모델들보다 뚜렷한 개선을 보이며, IF-XL이 최상의 GenEval 점수(0.61)를 달성했고 SD-XL은 그 뒤를 바짝 쫓았다(0.55).
• 위치와 속성 바인딩은 모델 간에 여전히 어렵고, 이러한 작업에서 최상의 결과는 대략 7-15% 수준이다.
• GenEval의 이진적, 이미지별 검증 및 설명 가능한 실패 설명은 디버깅과 모델 동작 이해를 돕는다.
• 프레임워크는 특정 실패 패턴(예: 색상 교체, 위치에서의 좌측-우측 편향)을 드러내며 생성 모델의 targeted improvements에 방향을 제시할 수 있다.

Figure 2: Comparison between GenEval and CLIPScore. CLIPScore returns a scalar value indicating image-text alignment, whereas GenEval breaks the prompt down into correct and incorrect elements before producing a final binary score. Compared to CLIPScore, GenEval obtains higher agreement with human j