[논문 리뷰] Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation

Jaemin Cho, Yushi Hu외 7명|arXiv (Cornell University)|2023. 10. 27.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

본 논문은 Davidsonian Scene Graph (DSG)라 불리는 DAG 기반의 원자적 질의 프레임워크를 도입하여 정밀한 텍스트-이미지(T2I) 평가에서 이전의 QG/A 방법보다 신뢰성을 향상시키고, 다양한 평가 벤치마크로서 DSG-1k를 공개한다.

ABSTRACT

Evaluating text-to-image models is notoriously difficult. A strong recent approach for assessing text-image faithfulness is based on QG/A (question generation and answering), which uses pre-trained foundational models to automatically generate a set of questions and answers from the prompt, and output images are scored based on whether these answers extracted with a visual question answering model are consistent with the prompt-based answers. This kind of evaluation is naturally dependent on the quality of the underlying QG and VQA models. We identify and address several reliability challenges in existing QG/A work: (a) QG questions should respect the prompt (avoiding hallucinations, duplications, and omissions) and (b) VQA answers should be consistent (not asserting that there is no motorcycle in an image while also claiming the motorcycle is blue). We address these issues with Davidsonian Scene Graph (DSG), an empirically grounded evaluation framework inspired by formal semantics, which is adaptable to any QG/A frameworks. DSG produces atomic and unique questions organized in dependency graphs, which (i) ensure appropriate semantic coverage and (ii) sidestep inconsistent answers. With extensive experimentation and human evaluation on a range of model configurations (LLM, VQA, and T2I), we empirically demonstrate that DSG addresses the challenges noted above. Finally, we present DSG-1k, an open-sourced evaluation benchmark that includes 1,060 prompts, covering a wide range of fine-grained semantic categories with a balanced distribution. We release the DSG-1k prompts and the corresponding DSG questions.

연구 동기 및 목표

• 기존 QG/A 방법보다 더 신뢰할 수 있고 정밀한 텍스트-이미지(T2I) 정합성 평가를 추진한다.
• 의미론에서 영감을 받은 프레임워크(DSG)를 제안하여 원자적이고 고유한 질의와 유효한 의존성을 확보한다.
• QG/A 워크플로우에서 중복, 할루시네이션, 잘못된 질의를 줄이는 것을 보여준다.
• T2I 평가 연구를 촉진하기 위해 다양한 오픈소스 DSG-1k 벤치마크를 제공한다.

제안 방법

• 프롬프트 의미를 원자 명제(엔티티, 속성, 관계, 전역 변수)의 방향성 비순환 그래프(DAG)로 표현한다.
• 유효한 VQA 질의를 보장하기 위해 의존성 그래프에 배열된 원자적이고 고유한 질문으로 QG/A 질의를 생성한다.
• 작업별 컨텍스트 LLM 프롬프트를 사용하여 세 단계의 자동 DSG 파이프라인(Tuples -> Questions -> Dependencies)을 구현한다.
• QG 단계에 LLM(예: PaLM 2, PaLI)을 사용하고 QA 단계에는 최신 VQA 모듈을 사용하며, 부모 답변에 따라 종속 질문은 건너뛴다.
• 수동 및 자동 정밀도/재현율, 원자성, 고유성 및 의존성 타당성 분석을 통해 신뢰성을 평가한다.
• 여러 데이터셋에서 가져온 균형 잡힌 의미 범주를 포함한 1,060프롬프트 벤치마크인 DSG-1k를 제공한다.

실험 결과

연구 질문

• RQ1 원자성, 완전한 의미 범위, 고유성 및 유효한 질의 의존성을 보장함으로써 QG/A 기반 T2I 평가를 어떻게 더 신뢰할 수 있게 만들 수 있는가?
• RQ2 의미론에 영감을 받은 DSG 프레임워크가 다양한 의미 범주에 걸친 프롬프트와 생성 이미지 간의 정합성 평가를 개선할 수 있는가?
• RQ3 텍스트 렌더링, 숫자세기 및 추상 속성과 같은 정밀한 범주에서 현재 VQA 모델의 한계는 무엇인가?
• RQ4 DSG-1k가 모델 계열 전체에 걸친 정밀한 T2I 정렬 진단을 위한 견고하고 개방된 벤치마크를 제공하는가?

주요 결과

• DSG는 30프롬프트 샘플에서 시맨틱 튜플에 대한 수동 매핑에서 높은 정밀도 92.2%와 재현율 100%를 달성했고, 자동 GPT-3.5 평가에서 정밀도 98.3%, 재현율 96.0%를 보였다.
• DSG는 기준보다 원자성 96.5%와 고유성 97.5%를 보이며 비원자적 질의와 중복 질의 문제를 해결한다.
• DSG 의존성 구조는 부모 응답이 긍정일 때에만 유효한 자식 질의가 제시되도록 보장하며, 전체 데이터셋에서 자동 검증 비율이 약 99%에 근접한다.
• 품목별 VQA 상관관계에서 DSG+PaLI가 인간 판단과 가장 강한 정합을 보이며(스피어만 0.563, 켄달 0.458).
• DSG-1k는 10개의 의미 범주와 여러 스타일을 포괄하는 다양하고 사람 주석의 프롬프트(총 1,060개)를 제공하여 정밀한 T2I 평가를 가능하게 한다.
• 평가 결과 현재 VQA 모델은 구체적 범주(엔티티, 특정 공간 관계)에서 잘 작동하지만 추상 속성(카운팅, 텍스트 렌더링) 및 주관성 측면에서는 어려움을 보인다.