[論文レビュー] Explainable artificial intelligence (XAI): from inherent explainability to large language models

Fuseini Mumuni, Alhassan Mumuni|ArXiv.org|Jan 17, 2025

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本論文は、固有に解釈可能なモデルから現代の LLM-および VLM-ベースの説明までの explainable AI 手法を総説し、定性的および定量的な比較と将来の研究方向を含む。

ABSTRACT

Artificial Intelligence (AI) has continued to achieve tremendous success in recent times. However, the decision logic of these frameworks is often not transparent, making it difficult for stakeholders to understand, interpret or explain their behavior. This limitation hinders trust in machine learning systems and causes a general reluctance towards their adoption in practical applications, particularly in mission-critical domains like healthcare and autonomous driving. Explainable AI (XAI) techniques facilitate the explainability or interpretability of machine learning models, enabling users to discern the basis of the decision and possibly avert undesirable behavior. This comprehensive survey details the advancements of explainable AI methods, from inherently interpretable models to modern approaches for achieving interpretability of various black box models, including large language models (LLMs). Additionally, we review explainable AI techniques that leverage LLM and vision-language model (VLM) frameworks to automate or improve the explainability of other machine learning models. The use of LLM and VLM as interpretability methods particularly enables high-level, semantically meaningful explanations of model decisions and behavior. Throughout the paper, we highlight the scientific principles, strengths and weaknesses of state-of-the-art methods and outline different areas of improvement. Where appropriate, we also present qualitative and quantitative comparison results of various methods to show how they compare. Finally, we discuss the key challenges of XAI and directions for future research.

研究の動機と目的

• 高リスク領域における XAI の動機と重要性を説明する。
• 固有に解釈可能なモデルから後付け手法まで、XAI アプローチのスペクトルを調査する。
• 説明可能性を高める上での大型言語モデルと vision-language モデルの役割を評価する。
• 課題・限界、および今後の XAI 研究の方向性について議論する。

提案手法

• 線形モデル、GAMs、決定木、NAMs、スコアカードなど、固有に解釈可能なフレームワークをレビューする。
• ブラックボックスモデルのポストホックおよびアントホック（固有に解釈可能）説明可能性手法を説明する。
• 大型言語モデルの解釈可能性と、その説明可能性への応用を詳述する。
• 他のモデルの説明を自動化または強化するための LLM-および VLM-ベースのパイプラインを議論する。
• 入手可能な場合には定性的および定量的な比較を提供する。
• XAI における現在の課題と今後の研究方向を概説する。

Figure 1: Illustration of (a) white-box model, (b) and (c) black-box model explainable by post-hoc and ante-hoc methods, respectively. The circled numbers illustrate the sequence of operations from input to prediction and explanations.

実験結果

リサーチクエスチョン

• RQ1 固有に解釈可能なモデルの主なファミリーと、解釈性と精度のトレードオフは何か？
• RQ2 ポストホックとアントホック（固有に解釈可能）説明可能性手法は忠実性と有用性の点でどう比較されるか？
• RQ3 大型言語モデルと vision-language モデルはモデルの説明可能性を高める上でどのような役割を果たすか？
• RQ4 XAI を進展させる上での重要な課題と今後の方針は何か？

主な発見

• XAI 手法は、固有に解釈可能なモデルから複雑なブラックボックスモデルのポストホック説明まで幅広い。
• LLMs および VLMs は、モデルの意思決定に関して高レベルで意味論的に意味のある説明を可能にしている。
• 定性的・定量的比較は、手法間の長所と短所を示している。
• 忠実性、スケーラビリティ、精度と解釈可能性のバランスといった顕著な課題がある。
• 将来の研究は、LLM/VLMベースの説明とドメイン知識および規制要件の統合に取り組むべきである。
• 本調査は、医療や自律システムなどの重要な領域への XAI 応用におけるギャップと機会を浮き彫りにしている。

Figure 2: Accuracy-interpretability relationship for different families of machine learning models. Although the illustration captures simple rule-based and linear models at the lower end of the accuracy spectrum, it should however, be noted that this assumes that the models are applied to complex p