[論文レビュー] Evaluating Text-to-Visual Generation with Image-to-Text Generation

Zhiqiu Lin, Deepak Pathak+6 more|arXiv (Cornell University)|Apr 1, 2024

Digital Humanities and ScholarshipArts and Humanities被引用数 3

ひとこと要約

この論文では、テキストから視覚的生成を評価するための新しい指標であるVQAScoreを紹介する。VQAScoreは、視覚的質問応答（VQA）モデルを用いて、「この図は{text}を示していますか？」という質問に対する「はい」の確率を計算する。単純であるが、特にカスタムの双方向エンコーダー（CLIP-FlanT5）を用いて実装した場合、CLIPScore や GPT-4V といった特許を取得したモデルを上回る、複数のベンチマークで最先端の性能を達成しており、動画や3D生成に対しても一般化可能である。

ABSTRACT

Despite significant progress in generative AI, comprehensive evaluation remains challenging because of the lack of effective metrics and standardized benchmarks. For instance, the widely-used CLIPScore measures the alignment between a (generated) image and text prompt, but it fails to produce reliable scores for complex prompts involving compositions of objects, attributes, and relations. One reason is that text encoders of CLIP can notoriously act as a "bag of words", conflating prompts such as "the horse is eating the grass" with "the grass is eating the horse". To address this, we introduce the VQAScore, which uses a visual-question-answering (VQA) model to produce an alignment score by computing the probability of a "Yes" answer to a simple "Does this figure show '{text}'?" question. Though simpler than prior art, VQAScore computed with off-the-shelf models produces state-of-the-art results across many (8) image-text alignment benchmarks. We also compute VQAScore with an in-house model that follows best practices in the literature. For example, we use a bidirectional image-question encoder that allows image embeddings to depend on the question being asked (and vice versa). Our in-house model, CLIP-FlanT5, outperforms even the strongest baselines that make use of the proprietary GPT-4V. Interestingly, although we train with only images, VQAScore can also align text with video and 3D models. VQAScore allows researchers to benchmark text-to-visual generation using complex texts that capture the compositional structure of real-world prompts. We introduce GenAI-Bench, a more challenging benchmark with 1,600 compositional text prompts that require parsing scenes, objects, attributes, relationships, and high-order reasoning like comparison and logic. GenAI-Bench also offers over 15,000 human ratings for leading image and video generation models such as Stable Diffusion, DALL-E 3, and Gen2.

研究の動機と目的

• 複雑で構成的なプロンプトに対して、信頼性が高く、堅牢なテキストから視覚的生成を評価するための指標が不足しているという問題に対処すること。
• CLIPScore などの既存の指標が、『単語の袋』の動作により構成的構造を捉えられないという限界を克服すること。
• 人間の判断とよりよく一致する、スケーラブルでリファレンスフリーの評価手法を構築すること。
• テキストから画像や動画モデルの最先端性能を評価するための、1,600の構成的プロンプトと15,000件の人的評価を含む新しいベンチマーク、GenAI-Bench を開発すること。
• 適切に設計・適用された場合、オフザシェルのVQAモデルですら、より複雑な特許を取得したベースラインを上回ることを示すこと。

提案手法

• リファレンスフリーの指標としてのVQAScoreを提案し、質問「この図は{text}を示していますか？ はいまたはいいえで答えください。」に対する「はい」の確率を計算する。
• 視覚的質問応答（VQA）モデルを用いて、画像と質問のトークンをエンコードし、画像とテキストの間で相互注意を可能にする双方向エンコーダーを採用する。
• オフザシェルのモデル（例：InstructBLIP、LLaVA-1.5）と、CLIPの画像特徴とFlanT5を組み合わせたカスタムモデルであるCLIP-FlanT5を用いてVQAScoreを実装する。
• 複数のフレームやビューの平均スコアを用いて、テキストから画像、テキストから動画、テキストから3D生成を評価する。
• オブジェクト、属性、関係、論理的推論を必要とする1,600の構成的プロンプトを含むベンチマークGenAI-Bench を設計・公開する。
• 動画のフレームサンプリングと3Dのビューのサンプリングに関するアブレーションスタディを実施し、最小限のサンプリングでもほぼ最適な性能が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 単純なVQAベースの指標は、CLIPScore などの既存の指標を上回り、構成的テキストから視覚的生成を評価できるか？
• RQ2 適切にアーキテクチャ設計されたオフザシェルのVQAモデルは、GPT-4V などの特許を取得したモデルを上回るか、同等の性能を達成できるか？
• RQ3 VQAScore は、動画や3D生成を含むさまざまなモダリティにどれほど一般化できるか？
• RQ4 自己回帰的エンコーダーと比較して、双方向の画像-質問エンコーダーを用いることで、アライメントスコアリングが顕著に向上するか？
• RQ5 VQAScore は、単なるオブジェクト認識をはるかに超える推論を要する複雑で構成的なプロンプトにおいて、人的判断と高い一致を示せるか？

主な発見

• CLIP-FlanT5 を用いて計算されたVQAScore は、テキストから画像のベンチマークで、83.1のペairwise accuracyという新しい最先端の成績を達成し、GPT-4V を用いた手法をも上回った。
• 3Dアセットの3×3グリッドビューを1つだけ使用しても、VQAScore はStanfordT23Dで68.4のペアワイズ精度を達成し、120ビューから得られる68.6のスコアにほぼ等しい。
• 3秒の動画から4フレームをサンプリングするだけで、CLIP-FlanT5 を用いたVQAScore は66.5のペアワイズ精度を達成し、全36フレームから得られる66.5のスコアに非常に近い。
• オフザシェルのLLaVA-1.5 を用いたVQAScore は、テキストから画像のベンチマークで82.4のペアワイズ精度を達成し、CLIPScore（77.8）や他のリファレンスフリー指標を上回った。
• カスタムのCLIP-FlanT5 モデルは、テキストから動画のベンチマークEvalCrafterで65.4のペアワイズ精度を達成し、InstructBLIP（65.4）とLLaVA-1.5（63.2）を上回った。
• GenAI-Bench における人的アノテーションの評価は、VQAScore と強い相関を示し、複雑で構成的なプロンプトにおいて人間の判断と整合していることを検証した。