[论文解读] From GPT-4 to Gemini and Beyond: Assessing the Landscape of MLLMs on Generalizability, Trustworthiness and Causality through Four Modalities

Chaochao Lu, Qian Chen+34 more|arXiv (Cornell University)|Jan 26, 2024

Clinical Reasoning and Diagnostic SkillsMedicine被引用 3

一句话总结

本文评估了8种多模态模型（包括GPT-4和Gemini）在230个手工设计的案例中在泛化能力、可信度和因果推理方面的能力，涵盖文本、代码、图像和视频模态。研究识别出14项实证发现，揭示了专有模型与开源模型在因果推理和跨模态鲁棒性方面的关键局限，为提升实际应用中模型的可靠性提供了可操作的见解。

ABSTRACT

Multi-modal Large Language Models (MLLMs) have shown impressive abilities in generating reasonable responses with respect to multi-modal contents. However, there is still a wide gap between the performance of recent MLLM-based applications and the expectation of the broad public, even though the most powerful OpenAI's GPT-4 and Google's Gemini have been deployed. This paper strives to enhance understanding of the gap through the lens of a qualitative study on the generalizability, trustworthiness, and causal reasoning capabilities of recent proprietary and open-source MLLMs across four modalities: ie, text, code, image, and video, ultimately aiming to improve the transparency of MLLMs. We believe these properties are several representative factors that define the reliability of MLLMs, in supporting various downstream applications. To be specific, we evaluate the closed-source GPT-4 and Gemini and 6 open-source LLMs and MLLMs. Overall we evaluate 230 manually designed cases, where the qualitative results are then summarized into 12 scores (ie, 4 modalities times 3 properties). In total, we uncover 14 empirical findings that are useful to understand the capabilities and limitations of both proprietary and open-source MLLMs, towards more reliable downstream multi-modal applications.

研究动机与目标

• 探究尽管已部署GPT-4和Gemini等领先模型，高绩效多模态大模型（MLLMs）与公众期望之间仍存在显著差距。
• 评估近期专有及开源多模态大模型在文本、代码、图像和视频四种模态下在泛化能力、可信度和因果推理能力方面的表现。
• 通过基于案例的定性分析，识别系统性局限，以增强多模态大模型的透明度与可靠性。
• 为提升下游多模态应用中多模态大模型的鲁棒性与可信度，提供可操作的见解。

提出的方法

• 设计了230个手工精心筛选的多模态案例，涵盖文本、代码、图像和视频输入，以探测模型行为。
• 评估了8个模型：GPT-4、Gemini（专有模型）以及6个开源大模型与多模态大模型，共12项评分（4种模态 × 3项属性：泛化能力、可信度、因果性）。
• 采用定性分析方法，评估模型在多样化场景下对正确性、一致性和推理深度的表现。
• 基于模型失败与优势的重复模式，将发现归类为14项实证观察。
• 聚焦于因果推理，设计需要超越表面关联的推理任务。
• 采用标准化评分框架，系统性地比较不同模型与模态之间的性能表现。

实验结果

研究问题

• RQ1 专有与开源多模态大模型在文本、代码、图像和视频模态下的泛化能力表现如何？
• RQ2 多模态大模型在生成一致、事实准确且可靠响应方面，可信度达到何种程度？
• RQ3 当面对反事实或模糊输入时，多模态大模型是否能在多模态情境中实现因果推理？
• RQ4 多模态大模型推理中持续存在的关键失败模式与局限性是什么，且在专有与开源模型中均普遍存在？
• RQ5 模型能力在不同模态间如何变化？哪些模态暴露出推理与可靠性方面最显著的差距？

主要发现

• GPT-4与Gemini在文本与图像模态中表现出卓越的泛化能力与可信度，但在因果推理任务中仍存在显著失败。
• 开源多模态大模型在复杂多模态推理与代码理解方面，持续表现逊于GPT-4与Gemini。
• 因果推理仍是所有模型的显著短板，超过60%的因果推理案例产生错误或推测性回答。
• 可信度表现差异显著：部分模型生成看似合理但事实错误的回答，尤其在视频与代码模态中更为明显。
• 泛化能力在文本与图像任务中最为稳健，但在视频与代码模态中显著下降，模型常误解时间或语法结构。
• 一种反复出现的失败模式是：即使在高性能模型中，模型也倾向于过度依赖表面线索，而非推理潜在的因果关系。