[논문 리뷰] From GPT-4 to Gemini and Beyond: Assessing the Landscape of MLLMs on Generalizability, Trustworthiness and Causality through Four Modalities

Chaochao Lu, Qian Chen외 34명|arXiv (Cornell University)|2024. 01. 26.

Clinical Reasoning and Diagnostic SkillsMedicine인용 수 3

한 줄 요약

이 논문은 텍스트, 코드, 이미지 및 영상 모odal을 포함하는 8개의 다중모달 모델(GPT-4 및 Gemini 포함)을 대상으로 수작업으로 설계된 230개의 케이스를 바탕으로 일반화 능력, 신뢰성 및 인과적 추론 능력을 평가한다. 비즈니스 모델과 오픈소스 모델 모두에서 인과적 추론 및 다양한 모달 간의 견고성에 있어 심각한 한계를 드러내는 14개의 경험적 발견을 도출하며, 실제 응용 분야에서 모델의 신뢰성 향상에 실질적인 통찰을 제공한다.

ABSTRACT

Multi-modal Large Language Models (MLLMs) have shown impressive abilities in generating reasonable responses with respect to multi-modal contents. However, there is still a wide gap between the performance of recent MLLM-based applications and the expectation of the broad public, even though the most powerful OpenAI's GPT-4 and Google's Gemini have been deployed. This paper strives to enhance understanding of the gap through the lens of a qualitative study on the generalizability, trustworthiness, and causal reasoning capabilities of recent proprietary and open-source MLLMs across four modalities: ie, text, code, image, and video, ultimately aiming to improve the transparency of MLLMs. We believe these properties are several representative factors that define the reliability of MLLMs, in supporting various downstream applications. To be specific, we evaluate the closed-source GPT-4 and Gemini and 6 open-source LLMs and MLLMs. Overall we evaluate 230 manually designed cases, where the qualitative results are then summarized into 12 scores (ie, 4 modalities times 3 properties). In total, we uncover 14 empirical findings that are useful to understand the capabilities and limitations of both proprietary and open-source MLLMs, towards more reliable downstream multi-modal applications.

연구 동기 및 목표

• 최근 GPT-4 및 Gemini와 같은 선도적 모델이 배포됨에도 불구하고 고성능 MLLM과 공공의 기대 간 격차를 탐구하기 위해.
• 텍스트, 코드, 이미지 및 영상의 4개 모달에서 최근 비공개 및 오픈소스 MLLM의 일반화 능력, 신뢰성 및 인과적 추론 능력을 평가하기 위해.
• 질적 사례 기반 분석을 통해 체계적인 한계를 규명함으로써 MLLM의 투명성과 신뢰성을 향상시키기 위해.
• 하류의 다중모달 응용 분야에서 MLLM의 견고성과 신뢰성을 향상시키기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• 모델의 행동을 탐구하기 위해 텍스트, 코드, 이미지 및 영상 입력을 포함하는 수작업으로 선별된 230개의 다중모달 케이스를 설계함.
• 8개의 모델을 평가함: GPT-4, Gemini(비공개), 그리고 6개의 오픈소스 LLM 및 MLLM. 총 12개 점수(4개 모달 × 3개 성질: 일반화 능력, 신뢰성, 인과성) 기반 평가 수행.
• 다양한 시나리오에서 정확성, 일관성 및 추론 깊이 측면에서 모델 응답을 평가하기 위해 질적 분석을 활용함.
• 모델 실패 및 강점의 반복 패턴을 바탕으로 14개의 경험적 관찰로 분류함.
• 표면적 연관성 이상의 추론이 필요한 사례를 설계함으로써 인과적 추론에 집중함.
• 모델 간 및 모달 간 성능을 체계적으로 비교하기 위해 표준화된 평가 프레임워크를 사용함.

실험 결과

연구 질문

• RQ1 비공개 및 오픈소스 MLLM은 텍스트, 코드, 이미지 및 영상 모달에서 일반화 능력에서 어떻게 성능을 보이나?
• RQ2 MLLM은 일관성 있고 사실 기반이며 신뢰할 수 있는 응답을 생성하는 데 얼마나 신뢰할 수 있는가?
• RQ3 모델은 반사적 또는 모호한 입력에 직면했을 때 다중모달 환경에서 인과적으로 추론할 수 있는가?
• RQ4 비공개 및 오픈소스 모델 모두에서 지속적으로 나타나는 MLLM 추론의 주요 실패 유형과 한계는 무엇인가?
• RQ5 모델 능력은 모달 간에 어떻게 다를지, 그리고 어느 모달에서 추론 및 신뢰성의 가장 큰 격차가 드러나는가?

주요 결과

• GPT-4와 Gemini는 텍스트 및 이미지 모달에서 일반화 능력과 신뢰성에서 뛰어난 성능을 보이지만, 여전히 인과적 추론 작업에서 심각한 실패를 보인다.
• 오픈소스 MLLM은 복잡한 다중모달 추론 및 코드 이해에서 GPT-4 및 Gemini에 비해 일관되게 열등한 성능을 보인다.
• 모든 모델에서 인과적 추론이 주요 약점으로 남아 있으며, 인과적 추론 케이스의 60퍼센트 이상에서 잘못되거나 추측적인 답변을 내놓는다.
• 신뢰성은 모델 간에 크게 다름: 일부 모델은 영상 및 코드 모달에서 유사하지만 사실 오류가 있는 응답을 생성함.
• 일반화 능력은 텍스트 및 이미지 작업에서 가장 견고하지만, 영상 및 코드에서 크게 약화되며, 모델은 종종 시간적 또는 구문적 구조를 잘못 이해함.
• 반복적인 실패 패턴은 고성능 모델조차도 표면적 신호에 과도하게 적응하고, 근본적인 인과적 관계를 추론하지 못하는 경향이 있음.