[論文レビュー] An Early Evaluation of GPT-4V(ision)

Yang Wu, Shilong Wang+5 more|arXiv (Cornell University)|Oct 25, 2023

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

この研究は、GPT-4V(vision)を視覚理解、言語理解、マルチモーダルなパズル、その他のモダリティにわたって手動で大規模に評価したもので、英語の視覚タスクにおける強みと、画像中の中国語テキスト、応答の不整合な拒否、GPT-4 APIと比べた言語ベンチマークの劣後といった顕著な制約を明らかにしています。

ABSTRACT

In this paper, we evaluate different abilities of GPT-4V including visual understanding, language understanding, visual puzzle solving, and understanding of other modalities such as depth, thermal, video, and audio. To estimate GPT-4V's performance, we manually construct 656 test instances and carefully evaluate the results of GPT-4V. The highlights of our findings are as follows: (1) GPT-4V exhibits impressive performance on English visual-centric benchmarks but fails to recognize simple Chinese texts in the images; (2) GPT-4V shows inconsistent refusal behavior when answering questions related to sensitive traits such as gender, race, and age; (3) GPT-4V obtains worse results than GPT-4 (API) on language understanding tasks including general language understanding benchmarks and visual commonsense knowledge evaluation benchmarks; (4) Few-shot prompting can improve GPT-4V's performance on both visual understanding and language understanding; (5) GPT-4V struggles to find the nuances between two similar images and solve the easy math picture puzzles; (6) GPT-4V shows non-trivial performance on the tasks of similar modalities to image, such as video and thermal. Our experimental results reveal the ability and limitations of GPT-4V and we hope our paper can provide some insights into the application and research of GPT-4V.

研究の動機と目的

• GPT-4Vの視覚中心のベンチマーク（キャプション作成/VQA）での性能を評価し、最先端のマルチモーダルLLMsと比較する。
• 視覚認識を追加した後の言語理解と視覚的常識/世界知識を評価する。
• Few-shotの例示がタスク全般でGPT-4Vの性能を向上させるかを検証する。
• 深度、熱画像、動画、音声など他のモダリティへの対応能力と視覚的パズル解決能力を探る。
• 制約とGPT-4Vを導くためのプロンプトベース戦略を調査する。

提案手法

• 視覚理解、言語理解、視覚パズル解決、他のモダリティをカバーする手動で作成した656のテスト事例。
• GPT-4VをQwen-VL-Chatなどのベースラインと比較した（Nocaps、Flickr30K、VQAv2、OKVQA、GQA、ScienceQA、VizWiz、OCR-VQAなどのデータセットを含む）。
• GPT-4Vの冗長な出力が採点に影響するため、自動指標に加えて人間評価を用いた。
• GPT-4Vは最大4枚の画像を受け付けるため、最大3件の exemplars を用いた few-shot promptingを採用。
• 深度、熱画像、動画、音声のタスクを作成し、データセット固有のプロンプトを用いて他モダリティを評価。
• 応答の整合性が取れない拒否、中国語テキスト認識の失敗、数式と図形を組み合わせたパズルの難しさなどの制限を検討。

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vの視覚中心のベンチマーク（キャプション作成とVQA）における性能は、現状のSOTAマルチモーダルLLMsと比べてどうか？
• RQ2 視覚認識を追加した後、GPT-4Vは言語理解を維持し、視覚的常識や物理知識をより適切に把握できるか？
• RQ3 GPT-4Vはインコンテキスト学習やfew-shot promptingを通じて exemplarsから恩恵を受けるか？
• RQ4 高いベンチマーク性能と評価のギャップの可能性を踏まえ、マルチモーダルLLMsはどのように評価すべきか？
• RQ5 GPT-4Vは画像以外の深度、熱画像、動画、音声などの他のモダリティを認識できるか？

主な発見

• GPT-4Vは英語の視覚中心ベンチマークで非常に良い成績を示すが、画像内の中国語テキストを認識できない。
• GPT-4Vは性別、人種、年齢などのセンシティブな属性に対して拒否挙動が一貫せず、いくつかのタスクに影響を与える。
• 言語理解ベンチマークでは頭対頭の比較でGPT-4(API)より劣ることが多いが、few-shot promptingによって性能が向上することがある。
• Few-shot promptingは視覚タスクや一部の言語タスクでGPT-4Vの性能を改善し、インコンテキスト学習能力を示唆している。
• 似た画像のニュアンスや簡単な数式と図形を組み合わせたパズルには苦戦する一方で、深度、熱画像、動画、音声など他のモダリティでは非自明な性能を示す。