[论文解读] Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases

Zhangyang Qi, Fang Ye+7 more|arXiv (Cornell University)|Dec 22, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文对谷歌的Gemini与OpenAI的GPT-4V在视觉-语言理解、推理及多模态任务方面进行了全面的定性比较。结果表明，GPT-4V在精度和物体识别方面表现更优，而Gemini则能生成更丰富、带链接增强的回应；将两者结合可充分发挥其互补优势，在产品推荐与多图像故事生成任务中显著提升性能。

ABSTRACT

The rapidly evolving sector of Multi-modal Large Language Models (MLLMs) is at the forefront of integrating linguistic and visual processing in artificial intelligence. This paper presents an in-depth comparative study of two pioneering models: Google's Gemini and OpenAI's GPT-4V(ision). Our study involves a multi-faceted evaluation of both models across key dimensions such as Vision-Language Capability, Interaction with Humans, Temporal Understanding, and assessments in both Intelligence and Emotional Quotients. The core of our analysis delves into the distinct visual comprehension abilities of each model. We conducted a series of structured experiments to evaluate their performance in various industrial application scenarios, offering a comprehensive perspective on their practical utility. We not only involve direct performance comparisons but also include adjustments in prompts and scenarios to ensure a balanced and fair analysis. Our findings illuminate the unique strengths and niches of both models. GPT-4V distinguishes itself with its precision and succinctness in responses, while Gemini excels in providing detailed, expansive answers accompanied by relevant imagery and links. These understandings not only shed light on the comparative merits of Gemini and GPT-4V but also underscore the evolving landscape of multimodal foundation models, paving the way for future advancements in this area. After the comparison, we attempted to achieve better results by combining the two models. Finally, We would like to express our profound gratitude to the teams behind GPT-4V and Gemini for their pioneering contributions to the field. Our acknowledgments are also extended to the comprehensive qualitative analysis presented in 'Dawn' by Yang et al. This work, with its extensive collection of image samples, prompts, and GPT-4V-related results, provided a foundational basis for our analysis.

研究动机与目标

• 在多样化的视觉-语言理解与推理基准上，对Gemini与GPT-4V进行详细且定性的比较。
• 评估两种模型在实际工业应用（如缺陷检测、杂货结账、GUI导航）中的实用价值。
• 探究结合GPT-4V与Gemini的协同潜力，以克服各自局限性并提升多模态性能。
• 分析两种模型在情感智能、时间理解及多语言能力方面的差异。
• 探索新型集成范式，以在复杂、多阶段任务中充分发挥每种模型的独特优势。

提出的方法

• 在12个核心类别（包括图像识别、图像中的文本理解、推理及时间视频理解）中开展结构化、多维度的评估。
• 通过控制提示词变化与场景调整，确保Gemini与GPT-4V之间的比较公平且均衡。
• 实施两阶段模型融合策略：首先使用GPT-4V进行精确的物体检测与描述，随后将输出结果输入Gemini以实现基于链接的检索与叙事生成。
• 在真实世界图像与文本输入下，评估模型在工业场景（如具身智能体、GUI导航与文档推理）中的表现。
• 通过定性案例研究（如产品推荐与多图像故事生成）展示模型融合的优势。
• 以Yang等人（2023）提出的“Dawn”数据集与分析框架作为提示设计与评估一致性的基础参考。

实验结果

研究问题

• RQ1 Gemini与GPT-4V在基本物体识别、地标检测与食物识别任务中的表现如何比较？
• RQ2 在理解复杂视觉元素（如公式、图表与抽象图像）方面，两种模型有何差异？
• RQ3 在多模态推理任务中（包括情感智能测试与侦探式推理），Gemini与GPT-4V的表现如何？
• RQ4 结合GPT-4V与Gemini是否能在实际应用中实现超越单一模型能力的性能提升？
• RQ5 在工业应用（如自动保险理赔处理与GUI导航）中，两种模型的优势与局限性分别是什么？

主要发现

• GPT-4V在物体识别与文本理解方面展现出更优的精度与简洁性，尤其在公式与表格识别等复杂场景中表现突出。
• Gemini在生成详细、详尽的回应以及为产品推荐提供相关网页链接方面优于GPT-4V。
• 在整合性任务（如产品识别）中，结合GPT-4V的精准描述与Gemini的检索能力，显著提升了链接推荐的准确性。
• 在多图像故事生成任务中，GPT-4V能准确总结子图像内容，而Gemini则生成连贯且风格一致的叙事，整体表现优于单一模型方法。
• Gemini无法同时处理多张图像，导致其在需要整体场景理解的任务中表现不如GPT-4V。
• 在工业应用（如GUI导航与具身智能体）中，由于具备更强的空间与序列推理能力，GPT-4V始终优于Gemini。