[論文レビュー] GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks

Xinlu Zhang, Yujie Lu+8 more|arXiv (Cornell University)|Nov 2, 2023

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

この論文は、GPT-4V をさまざまな視覚言語タスクの普遍的で参照-free な評価者として調査し、単一回答評価とペアワイズ比較を用いて、人間との比較を複数タスクで行い、視覚的な明瞭さや知識集約的なケースでの制約を指摘しつつ、人間と整合する素晴らしい評価スコアリングの可能性を示す。

ABSTRACT

Automatically evaluating vision-language tasks is challenging, especially when it comes to reflecting human judgments due to limitations in accounting for fine-grained details. Although GPT-4V has shown promising results in various multi-modal tasks, leveraging GPT-4V as a generalist evaluator for these tasks has not yet been systematically explored. We comprehensively validate GPT-4V's capabilities for evaluation purposes, addressing tasks ranging from foundational image-to-text and text-to-image synthesis to high-level image-to-image translations and multi-images to text alignment. We employ two evaluation methods, single-answer grading and pairwise comparison, using GPT-4V. Notably, GPT-4V shows promising agreement with humans across various tasks and evaluation methods, demonstrating immense potential for multi-modal LLMs as evaluators. Despite limitations like restricted visual clarity grading and real-world complex reasoning, its ability to provide human-aligned scores enriched with detailed explanations is promising for universal automatic evaluator.

研究の動機と目的

• GPT-4Vの視覚言語タスクの総合的な評価者としての能力を評価する。
• 複数モダリティにわたるGPT-4Vの評価を人間の判断と比較する。
• 評価手法（単一回答 grading と ペアワイズ比較）の一貫性を分析する。
• 実世界のタスクにおける自動評価者としてのGPT-4Vの長所と限界を特定する。

提案手法

• 2つの評価方式を用いて、マルチモーダルな入力出力ペアを評価する。
• 画像からテキストキャプション、テキストから画像生成、画像編集、複数画像からのテキスト整列を含むタスクを評価する。
• キャプション生成タスクで、GPT-4Vの評価を人間の評価者と強力な参照なしベースライン（CLIPScore）と比較する。
• 高難易度のネガティブキャプションと制御された画像ペアを構築して、細粒度の整合性を探る。

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vはさまざまなマルチモーダルタスクに対して、説明豊富な合理的な評価を提供できるか。
• RQ2 GPT-4Vの評価は単一回答評価とペアワイズ比較の間で一貫しているか。
• RQ3 GPT-4Vは単一回答とペアワイ設定の両方で人間の判断と補足的に整合しているか。
• RQ4 視覚的な明瞭さ、知識集約的なタスクなど、視覚と言語の評価者としてのGPT-4Vの制限は何か。

主な発見

• GPT-4Vは、地上真実と難易度の高いネガティブセットの両方で、画像からテキストキャプション付けにおける人間の評価と有意な相関を示し、整合性の点でCLIPScoreを上回っている。
• GPT-4Vは、画像からテキストタスクにおいて、単一回答評価とペアワイズ比較の間で人間の評価者と約91%の一致を達成している。
• GPT-4Vは、テキストから画像生成とテキスト誘導画像編集タスクで人間と一般的な整合を示すが、視覚的な明瞭さの判断や知識集約的なプロンプトには苦戦している。
• GPT-4Vは、複数画像からのテキスト整列タスクで約0.8のピアソン/スピアマン相関を達成し、人間のスコアとの強い整合を示している。
• GPT-4Vの評価手法間の一貫性は、画像からテキストタスクでは高いが、テキストから画像タスクでは低く、タスク間で位置依存性の分析がいくつか報告されている。