[論文レビュー] GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition?

Wenhao Wu, Huanjin Yao+4 more|arXiv (Cornell University)|Nov 27, 2023

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文は、16のベンチマークにわたる画像・動画・点群に対するゼロショット視覚認識におけるGPT-4の言語能力と視覚能力を評価し、GPT-4のプロンプトがテキストベースのゼロショット認識を改善し、GPT-4Vが大規模CLIPモデルに対して中～高い性能を達成することを示している。

ABSTRACT

This paper does not present a novel method. Instead, it delves into an essential, yet must-know baseline in light of the latest advancements in Generative Artificial Intelligence (GenAI): the utilization of GPT-4 for visual understanding. Our study centers on the evaluation of GPT-4's linguistic and visual capabilities in zero-shot visual recognition tasks: Firstly, we explore the potential of its generated rich textual descriptions across various categories to enhance recognition performance without any training. Secondly, we evaluate GPT-4's visual proficiency in directly recognizing diverse visual content. We conducted extensive experiments to systematically evaluate GPT-4's performance across images, videos, and point clouds, using 16 benchmark datasets to measure top-1 and top-5 accuracy. Our findings show that GPT-4, enhanced with rich linguistic descriptions, significantly improves zero-shot recognition, offering an average top-1 accuracy increase of 7% across all datasets. GPT-4 excels in visual recognition, outshining OpenAI-CLIP's ViT-L and rivaling EVA-CLIP's ViT-E, particularly in video datasets HMDB-51 and UCF-101, where it leads by 22% and 9%, respectively. We hope this research contributes valuable data points and experience for future studies. We release our code at https://github.com/whwu95/GPT4Vis.

研究の動機と目的

• GPT-4の言語能力が、より豊かなカテゴリの記述を通じてゼロショット視覚認識をどのように向上させるかを評価する。
• 画像・動画・点群にわたるGPT-4Vのゼロショット視覚認識性能を評価する。
• 標準化されたベンチマーク上で、GPT-4Vを主要な視覚言語モデル（CLIPおよびEVA-CLIP）と比較する。

提案手法

• 各カテゴリについてGPT-4を用いて複数の記述文を生成し、CLIPの視覚埋め込みと比較するテキスト埋め込みを形成する。
• CLIPの凍結テキストエンコーダと画像エンコーダを用いて、GPT生成の記述と視覚埋め込みとの類似度を計算し、Softmax正規化と平均化を行う。
• GPT-4Vを、視覚入力との関連性に基づいてカテゴリをランク付けするプロンプトを用いて画像/動画/点群を入力し、Top-1およびTop-5の正解率を取得して評価する。
• 動画と点群を画像セットに変換（動画は均一フレームサンプリング；点群はマルチビューレンダリング）して、CLIP/GPT-4Vパイプラインに入力する。
• CLIPのベースライン（ViT-B/32, ViT-B/16, ViT-L/14）およびEVA-CLIP ViT-E/14と、16のデータセット（画像、動画、点群）を横断して比較する。
• GPT生成文の語数とプロンプト設計に関するアブレーションを提供し、ゼロショット性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、カテゴリ名を用いるだけよりも、より豊かなテキスト記述を生成してゼロショット認識を改善するのか？
• RQ2 強力な視覚言語ベースラインと比較して、GPT-4Vは画像・動画・点群を跨るゼロショット認識でどのように性能を示すのか？
• RQ3 モダリティを跨ぐゼロショット性能に対するプロンプト設計と文の量の影響は何か？

主な発見

• GPT-4が生成した記述的プロンプトは、多くのデータセットでゼロショット認識を大幅に改善し、平均Top-1の向上がCLIPベースラインに対して約7%となる。
• GPT-4Vの16データセットにおける平均ゼロショット性能は、Top-1精度でOpenAI-CLIP ViT-LとEVA-CLIP ViT-Eの間にある。
• GPT-4Vは、いくつかの画像データセット（例：RAF-DB、Caltech101）で優れ、フレームサンプリングとプロンプトを用いた場合、動画データセット（HMDB-51、UCF-101）で顕著な向上を示す。
• GPTプロンプトは、より多様で詳細なカテゴリを持つデータセットでより大きな改善を生み出し、手作りプロンプトとGPT生成プロンプトを組み合わせると多くのデータセット（11データセット）で最良の結果を得ることが多い。
• GPT-4Vは、動画の中ではKinetics-400、HMDB-51、UCF-101で強力な性能を示し、点群は複数の視点で競争力のある結果を達成する。
• 時系列モデリングのギャップ（例：Something-Something V1）は、運動理解を要するアクションでGPT-4Vの性能を制限し、時系列モデリングを課題として浮き彫りにしている。