[論文レビュー] Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey

Yunkai Dang, Kaichen Huang+12 more|arXiv (Cornell University)|Dec 3, 2024

Topic Modeling被引用数 9

ひとこと要約

マルチモーダル大規模言語モデル（MLLMs）における説明可能性と解釈可能性の包括的な調査であり、データ・モデル・トレーニング/推論の観点ごとに手法を整理し、今後の研究方向を概説する。

ABSTRACT

The rapid development of Artificial Intelligence (AI) has revolutionized numerous fields, with large language models (LLMs) and computer vision (CV) systems driving advancements in natural language understanding and visual processing, respectively. The convergence of these technologies has catalyzed the rise of multimodal AI, enabling richer, cross-modal understanding that spans text, vision, audio, and video modalities. Multimodal large language models (MLLMs), in particular, have emerged as a powerful framework, demonstrating impressive capabilities in tasks like image-text generation, visual question answering, and cross-modal retrieval. Despite these advancements, the complexity and scale of MLLMs introduce significant challenges in interpretability and explainability, essential for establishing transparency, trustworthiness, and reliability in high-stakes applications. This paper provides a comprehensive survey on the interpretability and explainability of MLLMs, proposing a novel framework that categorizes existing research across three perspectives: (I) Data, (II) Model, (III) Training \& Inference. We systematically analyze interpretability from token-level to embedding-level representations, assess approaches related to both architecture analysis and design, and explore training and inference strategies that enhance transparency. By comparing various methodologies, we identify their strengths and limitations and propose future research directions to address unresolved challenges in multimodal explainability. This survey offers a foundational resource for advancing interpretability and transparency in MLLMs, guiding researchers and practitioners toward developing more accountable and robust multimodal AI systems.

研究の動機と目的

• データ・モデル・トレーニング＆推論の3つの視点にわたるMLLMsの説明可能性と解釈可能性に関する既存研究を調査し、分類する。
• トークンレベルから埋め込みレベルの表現、およびアーキテクチャ設計と分析全体にわたって解釈可能性を分析する。
• MLLMsの透明性と堅牢性を向上させるための強み・限界・今後の研究方向を特定する。

提案手法

• MLLMsの説明可能性と解釈可能性に関する論文の文献調査（2010–2024） 。
• データ、モデル、トレーニング＆推論の3視点から手法を分類する新しい枠組み。
• 入力–出力分析、埋め込み、ニューロン、レイヤー、アーキテクチャ概念を含む分類法とベンチマークの議論。
• 方法論の比較と強み・限界の特定。
• 今後の研究方向に関する議論。

実験結果

リサーチクエスチョン

• RQ1 データ・モデル・トレーニング/推論の次元全体でMLLMsをどのように説明・解釈できるか。
• RQ2 トークン・埋め込み・ニューロン・レイヤー単位の洞察は、マルチモーダルな意思決定をMLLMsでどのように明らかにするか。
• RQ3 マルチモーダルの説明可能性と堅牢性の主なベンチマーク、データセット、評価フレームワークは何か。
• RQ4 現在のアプローチの主な限界と、MLLMsの透明性と信頼性を向上させる有望な方向性は何か。

主な発見

• MLLMの説明可能性は、データ・モデル・トレーニング＆推論の三つの視点を通じて最もよく理解される。
• 説明可能性の手法は、入力–出力分析、埋め込み/表現分析、ニューロン・レイヤー単位の調査、アーキテクチャ設計アプローチを含む。
• ベンチマークと評価フレームワークは、マルチモーダルタスクにおける整合性、堅牢性、およびドメイン特性の説明可能性を評価する方向へ進化している。
• 手法間で認識される長所と限界があり、より透明で信頼できるMLLMsへ向けた今後の研究を導く。
• 本調査は、研究者と実務家がマルチモーダルAIシステムの解釈可能性を進歩させるための構造化されたリソースを提供します。