[논문 리뷰] Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases

Zhangyang Qi, Fang Ye외 7명|arXiv (Cornell University)|2023. 12. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각-언어 이해, 추론, 다중모달 작업 분야에서 구글의 휘트니(Gemini)와 오픈AI의 GPT-4V를 종합적으로 정성적으로 비교한다. GPT-4V는 정밀도와 물체 인식에서 뛰어난 성능을 보이며, Gemini는 더 풍부하고 링크 기반으로 강화된 응답을 제공한다. 두 모델을 조합하면 상호보완적인 강점을 활용하여 제품 추천 및 다중 이미지 스토리 생성 분야에서 성능을 크게 향상시킬 수 있다.

ABSTRACT

The rapidly evolving sector of Multi-modal Large Language Models (MLLMs) is at the forefront of integrating linguistic and visual processing in artificial intelligence. This paper presents an in-depth comparative study of two pioneering models: Google's Gemini and OpenAI's GPT-4V(ision). Our study involves a multi-faceted evaluation of both models across key dimensions such as Vision-Language Capability, Interaction with Humans, Temporal Understanding, and assessments in both Intelligence and Emotional Quotients. The core of our analysis delves into the distinct visual comprehension abilities of each model. We conducted a series of structured experiments to evaluate their performance in various industrial application scenarios, offering a comprehensive perspective on their practical utility. We not only involve direct performance comparisons but also include adjustments in prompts and scenarios to ensure a balanced and fair analysis. Our findings illuminate the unique strengths and niches of both models. GPT-4V distinguishes itself with its precision and succinctness in responses, while Gemini excels in providing detailed, expansive answers accompanied by relevant imagery and links. These understandings not only shed light on the comparative merits of Gemini and GPT-4V but also underscore the evolving landscape of multimodal foundation models, paving the way for future advancements in this area. After the comparison, we attempted to achieve better results by combining the two models. Finally, We would like to express our profound gratitude to the teams behind GPT-4V and Gemini for their pioneering contributions to the field. Our acknowledgments are also extended to the comprehensive qualitative analysis presented in 'Dawn' by Yang et al. This work, with its extensive collection of image samples, prompts, and GPT-4V-related results, provided a foundational basis for our analysis.

연구 동기 및 목표

• 다양한 시각-언어 이해 및 추론 벤치마크에서 Gemini와 GPT-4V 간의 상세한 정성적 비교를 수행한다.
• 결함 검출, 식료품 체크아웃, GUI 탐색과 같은 실제 산업 응용 분야에서 두 모델의 실용적 유용성을 평가한다.
• 개별 모델의 한계를 보완하고 다중모달 성능을 향상시키기 위해 GPT-4V와 Gemini를 융합하는 잠재적 상호작용을 조사한다.
• 두 모델 간 정서지능, 시간 이해 능력, 다국어 처리 능력의 차이를 분석한다.
• 복잡한 다단계 작업에서 각 모델의 고유한 강점을 활용하는 새로운 통합 패러다임을 탐색한다.

제안 방법

• 이미지 인식, 이미지 내 텍스트 이해, 추론, 시간적 영상 이해를 포함한 12개의 핵심 범주에서 체계적이고 다면적인 평가를 수행했다.
• Gemini와 GPT-4V 간의 공정하고 균형 잡힌 비교를 위해 제어된 프롬프트 변형 및 시나리오 조정을 적용했다.
• 이중 단계 모델 융합 전략을 구현했다: 먼저 GPT-4V를 사용해 정확한 물체 탐지 및 기술을 수행하고, 그 결과물을 Gemini에 입력하여 링크 기반 검색 및 서사 생성을 수행했다.
• 실제 산업 응용 사례인 몸체 기반 에이전트, GUI 탐색, 문서 추론에서 실세계 이미지 및 텍스트 입력을 사용해 모델 성능을 평가했다.
• 제품 추천 및 다중 이미지 스토리 생성과 같은 정성적 사례 연구를 통해 모델 융합의 이점을 입증했다.
• 양 등(2023)의 'Dawn' 데이터셋과 분석 프레임워크를 프롬프트 설계 및 평가 일관성의 기초 자료로 활용했다.

실험 결과

연구 질문

• RQ1 Gemini와 GPT-4V는 기본 물체 인식, 랜드마크 탐지, 식품 식별 작업에서 어떻게 비교되는가?
• RQ2 두 모델은 복잡한 시각적 요소인 수식, 차트, 추상적 이미지를 이해하는 데서 어떤 방식으로 다름이 있는가?
• RQ3 Gemini와 GPT-4V는 다중모달 추론 작업, 정서지능 테스트 및 수사적 추론에서 어떻게 성능을 내는가?
• RQ4 GPT-4V와 Gemini의 통합은 실제 응용 분야에서 개별 모델의 능력을 초월해 성능 향상에 기여할 수 있는가?
• RQ5 자동 보험 청구 처리 및 GUI 탐색과 같은 산업 응용 분야에서 각 모델의 강점과 한계는 무엇인가?

주요 결과

• GPT-4V는 수식 및 표 인식과 같은 복잡한 시나리오에서 물체 인식 및 텍스트 이해 능력에서 뛰어난 정밀도와 간결함을 보였다.
• Gemini는 제품 추천에 있어 관련 웹 링크를 제공하는 등 더 구체적이고 광범위한 응답을 생성하는 데 GPT-4V를 능가했다.
• 제품 식별과 같은 통합 작업에서 GPT-4V의 정확한 기술과 Gemini의 검색 능력을 융합하면 링크 추천 정확도가 크게 향상되었다.
• 다중 이미지 스토리 생성 작업에서는 GPT-4V가 하위 이미지를 정확하게 요약했고, Gemini는 일관되고 스타일에 부합하는 서사를 생성하여 단일 모델 접근 방식을 뛰어넘는 성능을 보였다.
• Gemini는 동시에 여러 이미지를 처리하지 못해 GPT-4V에 비해 통합적 장면 이해가 필요한 작업에서 성능이 열등했다.
• GUI 탐색 및 몸체 기반 에이전트와 같은 산업 응용 분야에서 GPT-4V는 공간적 및 순차적 추론 능력이 뛰어나 Gemini를 일관되게 능가했다.