[논문 리뷰] TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question Answering

Yushi Hu, Benlin Liu외 5명|arXiv (Cornell University)|2023. 03. 21.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

TIFA는 텍스트 입력에서 질문-답변 쌍을 생성하고, 생성된 이미지를 사용하여 시각적 질문-답변(VQA) 모델이 이를 올바르게 답변할 수 있는지 평가함으로써 참조 없는 해석 가능한 메트릭을 도입하여 텍스트-이미지 생성의 충실도를 평가한다. 인간 평가와의 상관관계가 높은 편(스피어만의 ρ = 0.60)을 기록하며, CLIPScore(0.33)와 캡션 기반 메트릭(0.34)을 뛰어넘지만, 색상 및 재질 생성의 진전에도 불구하고 수량 세기, 공간적 추론, 다중 객체 조합에서의 지속적인 실패가 드러난다.

ABSTRACT

Despite thousands of researchers, engineers, and artists actively working on improving text-to-image generation models, systems often fail to produce images that accurately align with the text inputs. We introduce TIFA (Text-to-Image Faithfulness evaluation with question Answering), an automatic evaluation metric that measures the faithfulness of a generated image to its text input via visual question answering (VQA). Specifically, given a text input, we automatically generate several question-answer pairs using a language model. We calculate image faithfulness by checking whether existing VQA models can answer these questions using the generated image. TIFA is a reference-free metric that allows for fine-grained and interpretable evaluations of generated images. TIFA also has better correlations with human judgments than existing metrics. Based on this approach, we introduce TIFA v1.0, a benchmark consisting of 4K diverse text inputs and 25K questions across 12 categories (object, counting, etc.). We present a comprehensive evaluation of existing text-to-image models using TIFA v1.0 and highlight the limitations and challenges of current models. For instance, we find that current text-to-image models, despite doing well on color and material, still struggle in counting, spatial relations, and composing multiple objects. We hope our benchmark will help carefully measure the research progress in text-to-image synthesis and provide valuable insights for further research.

연구 동기 및 목표

• 텍스트-이미지 생성의 충실도 평가를 위한 정확하고 해석 가능하며 세밀한 자동 평가 메트릭의 부족을 해결하기 위해.
• CLIPScore나 캡션 기반 접근 방식과 같은 기존 메트릭의 한계를 극복하여 구성적 추론, 수량 세기, 속성 바인딩을 포괄하지 못하는 문제를 해결하기 위해.
• 객체, 공간 관계, 재질과 같은 다양한 속성에서 모델의 실패를 체계적으로 평가할 수 있는 벤치마크를 개발하기 위해.
• 미래의 확장성을 고려하여 진화하는 언어 및 비전 모델을 통합할 수 있는 모듈형이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 텍스트 입력에서 세분화된 탐색을 위해 복잡한 프롬프트를 분해하는 다양한 질문-답변 쌍을 자동으로 생성하기 위해 대규모 언어 모델(GPT-3)을 사용한다.
• 질문-답변 일관성과 품질을 확보하기 위해 질문-답변 모델(UnifiedQA)을 사용하여 생성된 QA 쌍을 필터링한다.
• 생성된 이미지를 기반으로 VQA 모델(e.g., mPLUG-large)을 실행하여 질문에 대한 정답 여부를 평가함으로써 이미지의 충실도를 측정하고, 정답률을 충실도 점수로 삼는다.
• 높은 정확도(85.2%)와 합리적인 추론 속도(질문당 0.25초)를 고려해 mPLUG를 기본 VQA 모델로 선정한다.
• 인간 검증된 VQA 애너테이션을 사용하여 이미지 생성 오류와 VQA 모델 오류를 분리함으로써, 대부분의 실패 원인이 이미지 생성 오류에서 비롯된다는 것을 확인한다.
• TIFA v1.0을 12개 카테고리(객체, 수량 세기, 공간 관계, 재질 등)에 걸쳐 4,000개의 다양한 텍스트 입력과 25,000개의 질문을 포함하는 벤치마크로 설계한다.

Figure 1: Illustration of how TIFA works, and comparison with the widely-used CLIPScore and SPICE metrics. Given the text input, TIFA uses GPT-3 to generate several question-answer pairs, and a QA model filters them (3 out of 14 questions for this text input are shown). TIFA measures whether VQA mod

실험 결과

연구 질문

• RQ1 TIFA의 충실도 점수가 CLIPScore나 캡션 기반 접근 방식과 비교해 인간 평가와 얼마나 상관관계가 있는가?
• RQ2 현재 텍스트-이미지 모델이 가장 자주 실패하는 시각적 속성은 무엇인가? 예를 들어, 수량 세기, 공간 관계, 또는 다중 객체 조합 등이다.
• RQ3 TIFA 평가에서 발생하는 오류의 어느 정도가 이미지 생성 오류에서 기인하는가, VQA 모델의 한계에서 기인하는가?
• RQ4 VQA 모델의 선택이 TIFA 점수의 신뢰성과 성능에 어떤 영향을 미치는가?
• RQ5 CLIPScore나 캡션 메트릭이 놓치는 세밀한 속성 바인딩 및 구성적 추론의 실패를 TIFA는 감지할 수 있는가?

주요 결과

• TIFA는 인간 평가와 스피어만의 ρ = 0.60의 상관관계를 기록하며, CLIPScore(0.33)와 캡션 기반 메트릭(0.34)을 뛰어넘는다.
• Stable Diffusion v2.1은 v1.5보다 TIFA 점수에서 더 높은 점수를 기록하였으며, 이는 CLIPScore나 SPICE 결과와 정반대이므로 TIFA가 모델 간 차이를 더 정확하게 감지함을 시사한다.
• 현재 모델들은 수량 세기(예: 잘못된 객체 수), 공간 관계(예: 잘못된 상대 위치), 다중 객체 조합에서 가장 어려움을 겪는다.
• TIFA 오류의 25% 미만이 VQA 모델 오류로 기인하여 대부분의 실패 원인이 VQA 모델의 한계가 아니라 이미지 생성 오류에서 비롯된다는 점을 확인한다.
• 높은 정확도(85.2%)와 수용 가능한 추론 속도(질문당 0.25초)를 고려해 mPLUG-large를 기본 VQA 모델로 선정하여 성능과 효율성을 균형 있게 확보한다.
• TIFA v1.0 벤치마크는 12개 카테고리에 걸쳐 4,000개의 다양한 텍스트 입력과 25,000개의 질문을 포함하여 모델 행동의 세밀한 분석을 가능하게 한다.

Figure 2: (a) Overview of how TIFA evaluates the faithfulness of a synthesized image. TIFA uses a language model (LM), a question-answering (QA) model, and a visual-question-answering (VQA) model. Given a text input, we generate several question-answer pairs with the LM and then filter them via the