[논문 리뷰] A Survey on Quality Metrics for Text-to-Image Generation

Sebastian Hartwig, Dominik Engel외 7명|arXiv (Cornell University)|2024. 03. 18.

Computer Graphics and Visualization Techniques인용 수 5

한 줄 요약

이 설문은 텍스트-투-이미지 평가 지표를 검토하고, 구성적 및 일반 이미지 품질에 기반한 분류 체계를 제시하며, 임베딩 기반 및 콘텐츠 기반 접근 방법과 가이드라인 및 해결 과제를 논의한다.

ABSTRACT

AI-based text-to-image models do not only excel at generating realistic images, they also give designers more and more fine-grained control over the image content. Consequently, these approaches have gathered increased attention within the computer graphics research community, which has been historically devoted towards traditional rendering techniques, that offer precise control over scene parameters (e.g., objects, materials, and lighting). While the quality of conventionally rendered images is assessed through well established image quality metrics, such as SSIM or PSNR, the unique challenges of text-to-image generation require other, dedicated quality metrics. These metrics must be able to not only measure overall image quality, but also how well images reflect given text prompts, whereby the control of scene and rendering parameters is interweaved. Within this survey, we provide a comprehensive overview of such text-to-image quality metrics, and propose a taxonomy to categorize these metrics. Our taxonomy is grounded in the assumption, that there are two main quality criteria, namely compositional quality and general quality, that contribute to the overall image quality. Besides the metrics, this survey covers dedicated text-to-image benchmark datasets, over which the metrics are frequently computed. Finally, we identify limitations and open challenges in the field of text-to-image generation, and derive guidelines for practitioners conducting text-to-image evaluation.

연구 동기 및 목표

• 인간 판단에 부합하는 강건한 T2I 평가 메트릭의 필요성을 제시한다.
• 이미지 기반 지표와 텍스트 조건 지표를 구분하는 T2I 품질 메트릭의 분류 체계를 제시한다.
• 임베딩 기반 및 콘텐츠 기반 정렬 메트릭과 이들의 T2I 평가에서의 역할을 검토한다.
• 개방형 도전 과제를 논의하고 T2I 시스템의 평가 프레임워크를 개선하기 위한 가이드라인을 제시한다.

제안 방법

• 구성적 품질과 일반 이미지 품질에 기초한 T2I 메트릭의 분류 체계를 제안한다.
• 메트릭을 임베딩 기반 및 콘텐츠 기반 텍스트-이미지 정렬 접근 방식으로 구분한다.
• 비전-언어 사전 학습(예: CLIP, BLIP)이 임베딩 기반 메트릭에 어떤 정보를 제공하는지 분석한다.
• 이미지-전용 메트릭과 분포 기반 메트릭과 단일 이미지 메트릭이 T2I 품질과 어떻게 관련되는지 논의한다.
• 메트릭을 인간 판단에 매핑하고 인간 연구를 통한 검증을 강조한다.

실험 결과

연구 질문

• RQ1 T2I 평가에서 인간 판단을 가장 잘 반영하는 핵심 차원은 무엇인가요? (구성적 품질 대 일반 품질)
• RQ2 임베딩 기반 및 콘텐츠 기반 메트릭이 T2I 출력의 텍스트-이미지 정렬을 포착하는 데 어떻게 비교되나요?
• RQ3 텍스트 조건 이미지 생성 시스템을 평가하는 데 있어 남아 있는 도전 과제와 실용적 가이드라인은 무엇인가요?

주요 결과

• 순수 이미지 기반 메트릭과 텍스트 조건 메트릭을 구분하는 분류 체계로 구성적 및 일반 이미지 품질에 중점을 둔다.
• 임베딩 기반 메트릭(예: CLIP 파생 점수)은 텍스트-이미지 정렬에 두드러지나 미묘한 인간 판단을 반영하려면 미세 조정이 필요할 수 있다.
• 콘텐츠 기반 메트릭은 객체 정확도 및 공간/속성 관계와 같은 명시적 콘텐츠 충실도를 평가한다.
• 일관성을 향상시키고 인간의 선호를 반영하기 위한 가이드라인과 표준화된 평가 관행의 필요성이 있다.
• 본 연구는 남아 있는 도전 과제를 강조하고 T2I 모델의 평가 메커니즘 및 최적화를 발전시킬 방향을 제시한다.