[論文レビュー] Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation

Jaemin Cho, Yushi Hu+7 more|arXiv (Cornell University)|Oct 27, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文は Davidsonian Scene Graph (DSG) を提案する。DAG ベースの原子質問フレームワークで、従来の QG/A アプローチより信頼性を向上させる細粒度の Text-to-Image 評価を可能にし、DSG-1k を多様な評価ベンチマークとして公開する。

ABSTRACT

Evaluating text-to-image models is notoriously difficult. A strong recent approach for assessing text-image faithfulness is based on QG/A (question generation and answering), which uses pre-trained foundational models to automatically generate a set of questions and answers from the prompt, and output images are scored based on whether these answers extracted with a visual question answering model are consistent with the prompt-based answers. This kind of evaluation is naturally dependent on the quality of the underlying QG and VQA models. We identify and address several reliability challenges in existing QG/A work: (a) QG questions should respect the prompt (avoiding hallucinations, duplications, and omissions) and (b) VQA answers should be consistent (not asserting that there is no motorcycle in an image while also claiming the motorcycle is blue). We address these issues with Davidsonian Scene Graph (DSG), an empirically grounded evaluation framework inspired by formal semantics, which is adaptable to any QG/A frameworks. DSG produces atomic and unique questions organized in dependency graphs, which (i) ensure appropriate semantic coverage and (ii) sidestep inconsistent answers. With extensive experimentation and human evaluation on a range of model configurations (LLM, VQA, and T2I), we empirically demonstrate that DSG addresses the challenges noted above. Finally, we present DSG-1k, an open-sourced evaluation benchmark that includes 1,060 prompts, covering a wide range of fine-grained semantic categories with a balanced distribution. We release the DSG-1k prompts and the corresponding DSG questions.

研究の動機と目的

• 従来の QG/A 手法よりも信頼性の高い、細粒度の Text-to-Image (T2I) 整合性評価を促進する。
• 意味論に着想を得たフレームワーク（DSG）を提案し、原子性・依存性を満たす一意な質問を導出する。
• DSG が QG/A ワークフローにおける重複、幻視、無効なクエリを削減することを示す。
• 研究のための多様でオープンな DSG-1k ベンチマークを提供し、T2I 評価の研究を促進する。

提案手法

• プロンプトの意味を原子命題（実体、属性、関係、グローバル）からなる有向非巡回グラフ（DAG）として表現する。
• QG/A クエリを依存関係グラフに配置された原子的で一意な質問として生成し、有効な VQA クエリを保証する。
• タスク特有のインコンテキストLLMプロンプトを用いた 3 段階の自動 DSG パイプライン（ tuples -> questions -> dependencies ）を実装する。
• QG 段階にはLLMs（例: PaLM 2, PaLI）を、QA 段階には最先端の VQA モジュールを用い、親の回答に基づいて依存質問をスキップする。
• 信頼性を手動・自動の精度/再現率、原子性、唯一性、依存性妥当性の分析で評価する。
• DSG-1k は 1,060 プロンプトから成り、複数データセット源からバランス良く取り出された意味カテゴリを含む。

実験結果

リサーチクエスチョン

• RQ1 原子性、全意味カバレッジ、 uniqueness、妥当な質問依存性を確保することで、QG/A ベースの T2I 評価をどのようにより信頼性の高いものにできるか？
• RQ2 意味論に着想を得た DSG フレームワークは、さまざまな意味カテゴリにまたがるプロンプトと生成画像の整合性評価を改善できるか？
• RQ3 テキストレンダリング、カウント、抽象属性などの細粒度カテゴリにおける現行 VQA モデルの限界は何か？
• RQ4 DSG-1k はモデルファミリ間での細粒度 T2I 整合性を診断するための堅牢でオープンなベンチマークを提供するか？

主な発見

• DSG は 30 プロンプトのサンプルで、手動の意味的タプルとの一致に対して高い精度 92.2% 完全一致 100% を達成し、自動 GPT-3.5 評価では 98.3% の精度と 96.0% の再現率を示す。
• DSG は baselines と比べて高い原子性 96.5% および唯一性 97.5% を示し、非原子性および重複質問の問題を解決する。
• DSG の依存性構造は親の回答が肯定的である場合にのみ子質問を尋ねることを保証し、全データセットで自動検証比率が約 99% に達する。
• アイテム別 VQA 相関は DSG+PaLI が人間の判断との最強の整合性を示し（Spearman 0.563、Kendall 0.458）。
• DSG-1k は多様で人手注釈付きのプロンプトを提供（合計 1,060 件）、10 の意味カテゴリと複数スタイルをカバーし、細粒度の T2I 評価を可能にする。
• 評価結果は現在の VQA モデルが具体的なカテゴリ（実体、特定の空間関係）では高性能だが、抽象属性（カウント、テキストレンダリング）や主観性には苦戦することを示す。