[論文レビュー] Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases

Zhangyang Qi, Fang Ye+7 more|arXiv (Cornell University)|Dec 22, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、視覚言語理解、推論、マルチモーダルタスクの観点から、GoogleのGeminiとOpenAIのGPT-4Vを包括的な定性的比較している。GPT-4Vは正確性と物体認識において優れている一方、Geminiはより豊富でリンクを含む応答を提供する。両モデルを組み合わせることで、補い合う強みを活かし、製品推薦や複数画像ストーリー生成の分野で性能が著しく向上することが示された。

ABSTRACT

The rapidly evolving sector of Multi-modal Large Language Models (MLLMs) is at the forefront of integrating linguistic and visual processing in artificial intelligence. This paper presents an in-depth comparative study of two pioneering models: Google's Gemini and OpenAI's GPT-4V(ision). Our study involves a multi-faceted evaluation of both models across key dimensions such as Vision-Language Capability, Interaction with Humans, Temporal Understanding, and assessments in both Intelligence and Emotional Quotients. The core of our analysis delves into the distinct visual comprehension abilities of each model. We conducted a series of structured experiments to evaluate their performance in various industrial application scenarios, offering a comprehensive perspective on their practical utility. We not only involve direct performance comparisons but also include adjustments in prompts and scenarios to ensure a balanced and fair analysis. Our findings illuminate the unique strengths and niches of both models. GPT-4V distinguishes itself with its precision and succinctness in responses, while Gemini excels in providing detailed, expansive answers accompanied by relevant imagery and links. These understandings not only shed light on the comparative merits of Gemini and GPT-4V but also underscore the evolving landscape of multimodal foundation models, paving the way for future advancements in this area. After the comparison, we attempted to achieve better results by combining the two models. Finally, We would like to express our profound gratitude to the teams behind GPT-4V and Gemini for their pioneering contributions to the field. Our acknowledgments are also extended to the comprehensive qualitative analysis presented in 'Dawn' by Yang et al. This work, with its extensive collection of image samples, prompts, and GPT-4V-related results, provided a foundational basis for our analysis.

研究の動機と目的

• 視覚言語理解および推論ベンチマークの多様な分野において、GeminiとGPT-4Vの詳細な定性的比較を実施すること。
• 製品欠陏検出、食料品レジ会計、GUIナビゲーションなどの実世界の産業応用分野における両モデルの実用的有用性を評価すること。
• GPT-4VとGeminiを統合することで個々の限界を補い合い、マルチモーダル性能を向上させる可能性を調査すること。
• 両モデルの感情知能、時間的理解、多言語対応能力の違いを分析すること。
• 複雑なステージを経るタスクにおいて、各モデルの独自の強みを活かす新しい統合パラダイムを検討すること。

提案手法

• 画像認識、画像内テキスト理解、推論、時間的動画理解を含む12のコアカテゴリにわたる構造的・多面的な評価を実施した。
• GeminiとGPT-4Vの公平かつバランスの取れた比較を確保するため、制御されたプロンプトのバリエーションとシナリオの調整を実施した。
• 2段階のモデル統合戦略を採用：まずGPT-4Vで正確な物体検出と記述を実施し、その出力をGeminiに供給してリンクベースのリトリーブと物語生成を実行した。
• 実世界の画像およびテキスト入力を用いた、エンベッデッドエージェント、GUIナビゲーション、文書推論などの産業的シナリオでモデルのパフォーマンスを評価した。
• 製品推薦や複数画像ストーリー生成といった定性的ケーススタディを用いて、モデル統合の利点を実証した。
• プロンプト設計および評価の一貫性を確保する基盤として、Yangら（2023）の「Dawn」データセットおよび分析フレームワークを活用した。

実験結果

リサーチクエスチョン

• RQ1 GeminiとGPT-4Vは、基本的な物体認識、ランドマーク検出、食品識別タスクにおいてどのように比較されるか？
• RQ2 両モデルは、方程式、図表、抽象的画像といった複雑な視覚的要素をどのように理解しているか、その違いは何か？
• RQ3 感情知能テストや探偵的推論を含むマルチモーダル推論タスクにおいて、GeminiとGPT-4Vはそれぞれどのように性能を発揮するか？
• RQ4 GPT-4VとGeminiの統合は、実世界の応用分野において、個々のモデルの能力を超える性能向上を実現できるか？
• RQ5 自動車保険の請求処理やGUIナビゲーションといった産業的応用分野において、各モデルの強みと限界は何か？

主な発見

• GPT-4Vは、方程式や表の認識といった複雑なシナリオにおいて、優れた正確性と簡潔さを示した。
• Geminiは、製品推薦の文脈で関連のあるウェブリンクを提供するなど、詳細かつ包括的な応答を生成する点でGPT-4Vを上回った。
• 製品識別のような統合タスクでは、GPT-4Vの正確な記述とGeminiのリトリーブ機能を組み合わせることで、リンク推薦の正確性が著しく向上した。
• 複数画像ストーリー生成の分野では、GPT-4Vが正確にサブ画像を要約した一方、Geminiは一貫性がありスタイルに整合した物語を生成し、単一モデルアプローチを上回った。
• Geminiは複数の画像を同時に処理できないため、全体像の理解を要するタスクではGPT-4Vに比べてパフォーマンスが劣った。
• GUIナビゲーションやエンベッデッドエージェントなどの産業的応用分野では、GPT-4Vが空間的および順序的推論能力に優れており、一貫してGeminiを上回った。