[論文レビュー] TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question Answering

Yushi Hu, Benlin Liu+5 more|arXiv (Cornell University)|Mar 21, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

TIFAは、テキスト入力をもとに質問・回答ペアを生成し、画像質問応答（VQA）モデルが生成された画像を使ってその質問に正しく答えられるかどうかを評価することで、参照のない解釈可能な指標を導入し、テキストから画像への忠実度を評価する。これは人間の判断との相関（Spearmanのρ = 0.60）がCLIPScore（0.33）やキャプションベースの指標（0.34）を上回っており、色や素材の生成の進展にもかかわらず、数え上げ、空間的推論、複数オブジェクトの構成に関する継続的な失敗を明らかにしている。

ABSTRACT

Despite thousands of researchers, engineers, and artists actively working on improving text-to-image generation models, systems often fail to produce images that accurately align with the text inputs. We introduce TIFA (Text-to-Image Faithfulness evaluation with question Answering), an automatic evaluation metric that measures the faithfulness of a generated image to its text input via visual question answering (VQA). Specifically, given a text input, we automatically generate several question-answer pairs using a language model. We calculate image faithfulness by checking whether existing VQA models can answer these questions using the generated image. TIFA is a reference-free metric that allows for fine-grained and interpretable evaluations of generated images. TIFA also has better correlations with human judgments than existing metrics. Based on this approach, we introduce TIFA v1.0, a benchmark consisting of 4K diverse text inputs and 25K questions across 12 categories (object, counting, etc.). We present a comprehensive evaluation of existing text-to-image models using TIFA v1.0 and highlight the limitations and challenges of current models. For instance, we find that current text-to-image models, despite doing well on color and material, still struggle in counting, spatial relations, and composing multiple objects. We hope our benchmark will help carefully measure the research progress in text-to-image synthesis and provide valuable insights for further research.

研究の動機と目的

• テキストから画像への生成忠実度を評価するための正確で解釈可能で細分化された自動評価指標の不足に対処すること。
• CLIPScore やキャプションベースのアプローチのような既存の指標の限界—構成的推論、数え上げ、属性の束縛を捉えられていないこと—を克服すること。
• オブジェクト、空間的関係、素材といった多様な属性におけるモデルの失敗を体系的に評価できるベンチマークを開発すること。
• 将来のスケーラビリティを考慮し、進化する言語および視覚モデルを統合できるモジュラで拡張可能なフレームワークを提供すること。

提案手法

• 大規模言語モデル（GPT-3）を用いて、テキスト入力から多様な質問・回答ペアを自動生成し、複雑なプロンプトを細分化されたプローブに分解する。
• 質問応答モデル（UnifiedQA）を用いて生成されたQAペアをフィルタリングし、質問と回答の整合性および品質を保証する。
• 生成された画像に対してVQAモデル（例：mPLUG-large）を実行し、質問に正しく答えられるかを評価することで、画像の忠実度を測定し、正答率を忠実度スコアとする。
• mPLUGをデフォルトのVQAモデルとして選定した。これは高い正確性（85.2%）と妥当な推論速度（1質問あたり0.25秒）のおかげである。
• 人間による検証済みVQAアノテーションを用いて、画像生成エラーとVQAモデルエラーを分離し、失敗の大部分がVQAモデルではなく画像生成に起因することを確認した。
• TIFA v1.0を4,000件の多様なテキスト入力と12のカテゴリ（オブジェクト、数え上げ、空間的関係、素材など）にまたがる25,000件の質問を含むベンチマークとして設計した。

Figure 1: Illustration of how TIFA works, and comparison with the widely-used CLIPScore and SPICE metrics. Given the text input, TIFA uses GPT-3 to generate several question-answer pairs, and a QA model filters them (3 out of 14 questions for this text input are shown). TIFA measures whether VQA mod

実験結果

リサーチクエスチョン

• RQ1 TIFAの忠実度スコアは、CLIPScore やキャプションベースのアプローチと比較して、人間の判断とどの程度相関しているか？
• RQ2 現在のテキストから画像へのモデルは、数え上げ、空間的関係、または複数オブジェクトの構成といったどの視覚的属性で最も頻繁に失敗するか？
• RQ3 TIFAの評価におけるエラーの何パーセントが画像生成の問題に起因し、何パーセントがVQAモデルの制限に起因するか？
• RQ4 VQAモデルの選定がTIFAスコアの信頼性とパフォーマンスにどのように影響するか？
• RQ5 CLIPScore やキャプション指標が見逃す可能性のある、属性の束縛や構成的推論の微細な失敗をTIFAは検出できるか？

主な発見

• TIFAは人間の判断とのSpearmanの相関係数が0.60に達し、CLIPScore（0.33）やキャプションベースの指標（0.34）を顕著に上回った。
• Stable Diffusion v2.1はTIFAスコアでv1.5よりも高いスコアを記録したが、これはCLIPScoreやSPICEの結果とは矛盾しており、TIFAがモデルの差をより正確に検出できることを示している。
• 現在のモデルは、数え上げ（例：誤ったオブジェクト数）、空間的関係（例：誤った相対的位置関係）、複数オブジェクトの構成で特に困難を抱えている。
• TIFAのエラーの25％未満がVQAモデルに起因しており、失敗の大部分がVQAの制限ではなく画像生成に起因することを確認した。
• mPLUG-largeは、高い正確性（85.2%）と妥当な推論速度（1質問あたり0.25秒）のおかげで、性能と効率のバランスを考慮し、デフォルトのVQAモデルとして選定された。
• TIFA v1.0ベンチマークには、12のカテゴリにまたがる4,000件の多様なテキスト入力と25,000件の質問が含まれており、モデル行動の細分化された分析が可能である。

Figure 2: (a) Overview of how TIFA evaluates the faithfulness of a synthesized image. TIFA uses a language model (LM), a question-answering (QA) model, and a visual-question-answering (VQA) model. Given a text input, we generate several question-answer pairs with the LM and then filter them via the