[論文レビュー] A Review of Multimodal Explainable Artificial Intelligence: Past, Present and Future

Shilin Sun, Wenbin An+6 more|arXiv (Cornell University)|Dec 18, 2024

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

この論文は、従来の機械学習、深層学習、識別型基盤モデル、生成型LLMにまたがるMultimodal Explainable AI (MXAI) の歴史的四時代分析を提供し、データ、モデル、および事後説明可能性の手法、データセット、評価の方向性を詳述する。

ABSTRACT

Artificial intelligence (AI) has rapidly developed through advancements in computational power and the growth of massive datasets. However, this progress has also heightened challenges in interpreting the "black-box" nature of AI models. To address these concerns, eXplainable AI (XAI) has emerged with a focus on transparency and interpretability to enhance human understanding and trust in AI decision-making processes. In the context of multimodal data fusion and complex reasoning scenarios, the proposal of Multimodal eXplainable AI (MXAI) integrates multiple modalities for prediction and explanation tasks. Meanwhile, the advent of Large Language Models (LLMs) has led to remarkable breakthroughs in natural language processing, yet their complexity has further exacerbated the issue of MXAI. To gain key insights into the development of MXAI methods and provide crucial guidance for building more transparent, fair, and trustworthy AI systems, we review the MXAI methods from a historical perspective and categorize them across four eras: traditional machine learning, deep learning, discriminative foundation models, and generative LLMs. We also review evaluation metrics and datasets used in MXAI research, concluding with a discussion of future challenges and directions. A project related to this review has been created at https://github.com/ShilinSun/mxai_review.

研究の動機と目的

• MXAIの伝統的な機械学習から生成型LLMまでの発展史的視点を提供する。
• 4時代にわたってデータ説明性、モデル説明性、事後説明性の観点からMXAI手法を分類する。
• MXAI研究で用いられるデータセットと評価指標を要約する。
• 透明性と公正性を備えたMXAIシステムの今後の課題と方向性を論じる。

提案手法

• MXAI手法を時代別に分類する：伝統的なML、深層学習、識別型基盤モデル、生成型LLMs。
• 各時代ごとにデータ説明性、モデル説明性、事後説明性のカテゴリに整理する。
• 代表的なモデル、技術（例：アテンションの可視化、特徴量の寄与度、因果的説明）、データセットをレビューする。
• 評価指標を要約し、MXAIの課題と方向性を論じる。

実験結果

リサーチクエスチョン

• RQ1 AIの4つの歴史的時代にわたり、MXAI手法はどのように進化してきたのか。
• RQ2 各MXAI時代を特徴づけるデータ、モデル、および事後説明性の技術は何か。
• RQ3 MXAI研究で一般的に用いられるデータセットと評価指標は何か、またMXAIの今後の方向性は何が示唆されているか。
• RQ4 LLMsとマルチモーダル融合の進展は、MXAIの説明と信頼性にどう影響するのか。

主な発見

• MXAIは4つの時代に分類される：伝統的ML（2000-2009）、深層学習（2010-2016）、識別型基盤モデル（2017-2021）、生成型LLMs（2022-2024）。
• 各時代はデータ説明性、モデル説明性、事後説明性の観点から分析される。
• TransformerベースのモデルとLLMsが、マルチモーダルな説明と公平性の新たなMXAIの課題と機会を推進している。
• これまでの分析には歴史的発展とLLM/MXAI説明性の統合に関するギャップがあり、体系的な視点と将来の方向性を提供する。