[論文レビュー] Visual Programming for Text-to-Image Generation and Evaluation

Jaemin Cho, Abhay Zala+1 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、事前学習済み世界知識を活用して未学習のオブジェクトを含むテキストプロンプトからオブジェクト数とレイアウトを生成する微調整済み言語モデルを介して、レイアウトから画像への拡散モデルに渡す前に、段階的で解釈可能なテキスト-to-画像（T2I）生成のための視覚プログラミングフレームワーク、VPGenを紹介する。また、タスク固有の視覚モジュールとマルチモーダルな説明を用いた、説明可能な評価フレームワークVPEvalも提案する。VPGenはオブジェクト数、空間的関係、スケールに対する優れた制御を達成する一方、VPEvalは単一モデルベースラインよりも高い人間との相関性を示す。

ABSTRACT

As large language models have demonstrated impressive performance in many domains, recent works have adopted language models (LMs) as controllers of visual modules for vision-and-language tasks. While existing work focuses on equipping LMs with visual understanding, we propose two novel interpretable/explainable visual programming frameworks for text-to-image (T2I) generation and evaluation. First, we introduce VPGen, an interpretable step-by-step T2I generation framework that decomposes T2I generation into three steps: object/count generation, layout generation, and image generation. We employ an LM to handle the first two steps (object/count generation and layout generation), by finetuning it on text-layout pairs. Our step-by-step T2I generation framework provides stronger spatial control than end-to-end models, the dominant approach for this task. Furthermore, we leverage the world knowledge of pretrained LMs, overcoming the limitation of previous layout-guided T2I works that can only handle predefined object classes. We demonstrate that our VPGen has improved control in counts/spatial relations/scales of objects than state-of-the-art T2I generation models. Second, we introduce VPEval, an interpretable and explainable evaluation framework for T2I generation based on visual programming. Unlike previous T2I evaluations with a single scoring model that is accurate in some skills but unreliable in others, VPEval produces evaluation programs that invoke a set of visual modules that are experts in different skills, and also provides visual+textual explanations of the evaluation results. Our analysis shows that VPEval provides a more human-correlated evaluation for skill-specific and open-ended prompts than widely used single model-based evaluation. We hope that our work encourages future progress on interpretable/explainable generation and evaluation for T2I models.

研究の動機と目的

• エンドツーエンドのT2Iモデルが空間的関係、オブジェクト数、未学習のオブジェクトクラスの処理において限界を示す現状を踏まえ、タスクをモジュラーで段階的な視覚プログラミングコンponentsに分解することで、解釈可能で制御可能なテキスト-to-画像生成を実現すること。
• エンドツーエンドのT2Iモデルが空間的関係、オブジェクト数、未学習のオブジェクトクラスの処理において限界を示す現状を踏まえ、タスクをモジュラーで段階的な視覚プログラミングコンponentsに分解することで、解釈可能で制御可能なテキスト-to-画像生成を実現すること。
• 視覚的およびテキスト的根拠を提示する、説明可能なスキル固有の評価を提供するフレームワークを開発し、人間の判断とより一致させる。
• 大規模言語モデルの世界知識を活用することで、T2I生成における空間的および意味的制御を強化すること。
• エキスパートの視覚モジュールを用いたモジュラーでプログラム的評価が、単一モデル評価ベースラインよりも高い人間との相関性を達成できることを実証すること。

提案手法

• VPGenはT2I生成を3段階の順次モジュールに分解する：オブジェクト／数の生成、レイアウトの生成、画像の生成。各モジュールは専用のコンponentsで実行される。
• 微調整済みのVicuna言語モデルが、事前学習済みの世界知識を活用して、テキストプロンプトからオブジェクトリストと空間的レイアウトを生成する。
• レイアウトから画像への拡散モデル（例：GLIGEN）が予測されたレイアウトから最終的な画像を生成し、高精細な画像合成を実現する。
• VPEvalは、プロンプトの意味論に基づいて動的に専用の視覚モジュール（オブジェクト検出器、深度推定器、VQAモデルなど）を呼び出す評価プログラムを構築する。
• 各評価モジュールは、その評価の視覚的およびテキスト的説明を提供し、生成画像の説明可能でマルチスキル評価を可能にする。
• 大規模言語モデル（GPT-3.5-Turbo）が、アノテート済みプログラムの微調整なしに、オープンエンドのプロンプトに対してリアルタイムで評価プログラムを生成する。

実験結果

リサーチクエスチョン

• RQ1 段階的で視覚プログラミングベースのフレームワークは、エンドツーエンドモデルと比較して、テキスト-to-画像生成における空間的および意味的制御性を向上させることができるか？
• RQ2 言語モデルの世界知識は、レイアウトガイドドT2I生成における未学習のオブジェクトクラスへの一般化をどの程度向上させられるか？
• RQ3 エキスパートの視覚モジュールを備えたモジュラー評価フレームワークは、単一モデル評価ベースラインよりも高い人間との相関性を達成できるか？
• RQ4 視覚的およびテキスト的説明の組み合わせは、T2I評価の解釈可能性および信頼性をどの程度向上させるか？
• RQ5 高価なアノテーションに微調整なしに、評価のための動的プログラム生成は、高い正確性とカバレッジを維持できるか？

主な発見

• VPGenは、オブジェクト数、空間的関係、スケールの正確性において、Stable Diffusionなどの強力なベースラインを上回り、優れたレイアウト制御を示している。
• スキルベースのプロンプトにおいて、VPGenはCount（63.7）、Spatial（63.8）、Scale（51.2）スキルでベースラインを上回った。VPEval †はScaleで79.0のスコアを達成した。
• スキルベースのプロンプトにおいて、VPEvalは人間との相関性が66.6であった。これはCLIP（33.2）、キャプションメトリクス（BLEU-4: 18.3）、VQA（55.9）のベースラインを顕著に上回った。
• オープンエンドのプロンプトにおいて、VPEvalは人間の判断とSpearmanのρ = 56.9の相関を示した。VPEval †では、より強力なVQAモジュールを用いることで、60.3に向上した。
• 人間評価では、ほぼ完全なアノテータ間一貫性（κ = 0.85、α = 0.85）が確認され、VPEvalを評価するために使用された人間判断の信頼性が裏付けられた。
• プログラム忠実度分析により、プロンプト要因の高いカバレッジと各モジュールの高い正確性が確認され、プログラム生成および実行の堅牢性が示された。