[論文レビュー] From GPT-4 to Gemini and Beyond: Assessing the Landscape of MLLMs on Generalizability, Trustworthiness and Causality through Four Modalities

Chaochao Lu, Qian Chen+34 more|arXiv (Cornell University)|Jan 26, 2024

Clinical Reasoning and Diagnostic SkillsMedicine被引用数 3

ひとこと要約

本稿では、GPT-4 や Gemini を含む 8 つのマルチモーダルモデル（テキスト、コード、画像、動画モダリティをカバー）における 230 件の手作業で設計されたケースを対象に、汎化性、信頼性、因果的推論能力の評価を実施した。14 件の実証的発見が得られ、特に因果的推論とモダリティ間の頑健性において、プロプライエタリ型およびオープンソース型の MLLM に深刻な制限が存在することが明らかになった。本研究は、実世界の応用におけるモデルの信頼性を向上させるための実行可能な知見を提供する。

ABSTRACT

Multi-modal Large Language Models (MLLMs) have shown impressive abilities in generating reasonable responses with respect to multi-modal contents. However, there is still a wide gap between the performance of recent MLLM-based applications and the expectation of the broad public, even though the most powerful OpenAI's GPT-4 and Google's Gemini have been deployed. This paper strives to enhance understanding of the gap through the lens of a qualitative study on the generalizability, trustworthiness, and causal reasoning capabilities of recent proprietary and open-source MLLMs across four modalities: ie, text, code, image, and video, ultimately aiming to improve the transparency of MLLMs. We believe these properties are several representative factors that define the reliability of MLLMs, in supporting various downstream applications. To be specific, we evaluate the closed-source GPT-4 and Gemini and 6 open-source LLMs and MLLMs. Overall we evaluate 230 manually designed cases, where the qualitative results are then summarized into 12 scores (ie, 4 modalities times 3 properties). In total, we uncover 14 empirical findings that are useful to understand the capabilities and limitations of both proprietary and open-source MLLMs, towards more reliable downstream multi-modal applications.

研究の動機と目的

• GPT-4 や Gemini といった先端モデルが導入されているにもかかわらず、高性能な MLLM と一般の期待との間には依然として大きなギャップが存在することを調査すること。
• テキスト、コード、画像、動画の 4 つのモダリティにわたり、最近のプロプライエタリ型およびオープンソース型 MLLM の汎化性、信頼性、因果的推論能力を評価すること。
• 定性的でケースベースの分析を通じて、体系的な限界を同定することで、MLLM の透明性と信頼性を向上させること。
• 下流のマルチモーダル応用における MLLM の頑健性と信頼性を向上させるための実行可能な知見を提供すること。

提案手法

• テキスト、コード、画像、動画入力をカバーする 230 件の手作業で選別されたマルチモーダルケースを設計し、モデルの挙動を調査した。
• GPT-4、Gemini（非公開ソース）、および 6 つのオープンソース型 LLM および MLLM を対象に、12 スコア（4 モダリティ × 3 属性：汎化性、信頼性、因果性）で評価した。
• 多様なシナリオにおける正しさ、一貫性、推論の深さを評価するために、定性的分析を採用した。
• モデルの失敗と強みにおける繰り返しパターンに基づき、14 件の実証的観察に分類した。
• 表面的関連性を越えた推論を要するケースを設計することで、因果的推論に焦点を当てた。
• 標準化されたスコアフレームワークを用いて、モデルおよびモダリティ間での性能を体系的に比較した。

実験結果

リサーチクエスチョン

• RQ1 プロプライエタリ型およびオープンソース型 MLLM は、テキスト、コード、画像、動画モダリティにおいて、どのように汎化性を発揮しているか？
• RQ2 MLLM は、一貫性があり、事実に正確かつ信頼できる応答を生成する能力をどの程度示しているか？
• RQ3 反事実的または曖昧な入力に直面した場合、MLLM はマルチモーダル文脈で因果的推論を行うことができるか？
• RQ4 閉ざされた型およびオープンソース型の両方のモデルに共通して見られる、MLLM 推論における主な失敗モードと限界は何か？
• RQ5 モデルの能力はモダリティによってどのように変化するか？ また、どのモダリティが推論と信頼性の面で最も顕著なギャップを露呈しているか？

主な発見

• GPT-4 および Gemini は、テキストおよび画像モダリティにおいて汎化性と信頼性の面で優れた性能を示しているが、因果的推論タスクでは依然として顕著な失敗を示している。
• オープンソース型 MLLM は、GPT-4 や Gemini と比較して一貫して性能が低く、特に複雑なマルチモーダル推論やコード理解の分野で顕著である。
• 因果的推論は、すべてのモデルにおいて大きな弱みであり、60％を超える因果的推論ケースで誤ったまたは推測に満ちた回答が得られた。
• 信頼性はモデルごとに著しく異なる：一部のモデルは、特に動画およびコードモダリティにおいて、説得力はあるが事実に反する応答を生成する傾向がある。
• 汎化性はテキストおよび画像タスクで最も頑健であるが、動画およびコードでは顕著に低下し、モデルはしばしば時間的または文法的構造を誤解する。
• 繰り返し観察される失敗パターンとして、高パフォーマンスモデルですら、因果的関係を理解するのではなく、表面的な手がかりに過剰に適合してしまう傾向がある。