[논문 리뷰] X-IQE: eXplainable Image Quality Evaluation for Text-to-Image Generation with Visual Large Language Models

Yixiong Chen, Liu, Li외 1명|arXiv (Cornell University)|2023. 05. 18.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

X-IQE는 비주얼 LLMs(MiniGPT-4와 Vicuna)를 활용하여 텍스트-투-이미지 생성의 이미지 품질에 대해 설명 가능한 텍스트 설명을 제공하고, 훈련 없이도 충실도, 정합성, 미학을 평가합니다.

ABSTRACT

This paper introduces a novel explainable image quality evaluation approach called X-IQE, which leverages visual large language models (LLMs) to evaluate text-to-image generation methods by generating textual explanations. X-IQE utilizes a hierarchical Chain of Thought (CoT) to enable MiniGPT-4 to produce self-consistent, unbiased texts that are highly correlated with human evaluation. It offers several advantages, including the ability to distinguish between real and generated images, evaluate text-image alignment, and assess image aesthetics without requiring model training or fine-tuning. X-IQE is more cost-effective and efficient compared to human evaluation, while significantly enhancing the transparency and explainability of deep image quality evaluation models. We validate the effectiveness of our method as a benchmark using images generated by prevalent diffusion models. X-IQE demonstrates similar performance to state-of-the-art (SOTA) evaluation methods on COCO Caption, while overcoming the limitations of previous evaluation models on DrawBench, particularly in handling ambiguous generation prompts and text recognition in generated images. Project website: https://github.com/Schuture/Benchmarking-Awesome-Diffusion-Models

연구 동기 및 목표

• 저렴하고 일반화 가능하며 설명 가능한 이미지 품질 평가가 인간 평가나 전통적인 모델 기반 점수 이상의 필요성을 고취합니다.
• 시각적 LLM을 사용하여 AI 생성 이미지의 충실도, 정합성, 미학을 분석하는 설명 가능한 훈련-없는 평가 프레임워크를 제안합니다.
• 편향 없는 일관된 설명을 얻기 위해 전문가 주도 프롬프트 설계와 계층적 체인 오브 생각(CoT)을 포함합니다.
• 실제 이미지와 AI 생성 이미지를 아우르는 벤치마크로서 X-IQE를 검증하고 최첨단 지표와 비교합니다.

제안 방법

• 추가 학습 없이 평가를 위한 인-context 학습을 갖춘 핵심 시각-LM으로 MiniGPT-4(ViT 기반 인코더 + Vicuna)를 활용합니다.
• 이미지 품질 분석을 위한 예술 전문가 기준을 인코딩하는 전문가 정보 기반 프롬프트를 설계합니다.
• 계층적 체인 오브 생각(CoT) 흐름을 적용합니다: 충실도 평가가 정합성 평가를, 정합성 평가가 미학 평가를 이끕니다, 작업 간 공유 이미지 설명을 둡니다.
• CoT 준수 응답의 안정화를 위해 JSON 출력 형식과 명시적 채점 조건을 강제합니다.
• 일-과제 내 사고(CoT) 및 과제 간 추론을 도입하여 일관성을 개선하고 이전 분석을 재활용합니다.

실험 결과

연구 질문

• RQ1 사전 학습된 시각 LLM이 미세 조정 없이도 텍스트-투-이미지 생성의 충실도, 정합성 및 미학에 대해 신뢰할 수 있고 설명 가능한 평가를 제공할 수 있는가?
• RQ2 계층적 CoT 프롬프트 전략이 CLIPScore나 미학 예측기와 같은 전통적 지표보다 인간 판단과의 상관 관계가 더 높은 결과를 낳는가?
• RQ3 모델 크기와 온도가 X-IQE 평가의 안정성과 일관성에 어떤 영향을 미치는가?
• RQ4 X-IQE가 실제 이미지와 AI 생성 이미지를 구별하고 여러 확산 모델과 프롬프트에 대해 강력한 벤치마크로 작동할 수 있는가?

주요 결과

• X-IQE는 COCO Caption 데이터에서 인간 판단과의 상관관계가 일부 특정 작업 모델과 경쟁하거나 이를 능가합니다.
• 전문가 정보 프롬프트를 가진 계층적 CoT가 추론 없이 점수를 직접 묻는 기준선 대비 평가 품질과 일관성을 향상시킵니다.
• X-IQE가 실제 이미지와 AI 생성 이미지를 신뢰성 있게 구분할 수 있습니다.
• X-IQE는 테스트 데이터셋에서 CLIPScore 및 Aesthetic Predictor보다 인간 평가와 상관관계가 높은 강건한 정합성 및 미학 점수를 보입니다.
• 더 큰 모델(13B Vicuna)과 제어된 온도(0.1)가 더 안정적이고 정확한 평가를 낳아 이 작업에 더 큰 시각-LM 백본의 사용을 뒷받침합니다.
• X-IQE는 투명하고 훈련 없는 벤치마킹 프레임워크를 제공하여 여러 SOTA 텍스트-투-이미지 모델(예: Stable Diffusion 계열, Openjourney, DeepFloyd-IF)을 비교할 수 있습니다.