[論文レビュー] Natural Example-Based Explainability: a Survey

Antonin Poché, Lucas Hervier+1 more|arXiv (Cornell University)|Sep 5, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本調査では、生成的手法を用いない、実際の訓練データ例を用いてモデル意思決定を説明する自然な例に基づく説明可能性（XAI）の包括的分析を提示する。5つのフォーマット—類似例、対向的例、準対向的例、影響力のあるインスタンス、プロトタイプ、および概念—を評価し、それらの意味的定義、認知的影響、およびモデルの解釈可能性とユーザーの信頼性を高めるための実用的利点を強調する。

ABSTRACT

Explainable Artificial Intelligence (XAI) has become increasingly significant for improving the interpretability and trustworthiness of machine learning models. While saliency maps have stolen the show for the last few years in the XAI field, their ability to reflect models' internal processes has been questioned. Although less in the spotlight, example-based XAI methods have continued to improve. It encompasses methods that use examples as explanations for a machine learning model's predictions. This aligns with the psychological mechanisms of human reasoning and makes example-based explanations natural and intuitive for users to understand. Indeed, humans learn and reason by forming mental representations of concepts based on examples. This paper provides an overview of the state-of-the-art in natural example-based XAI, describing the pros and cons of each approach. A "natural" example simply means that it is directly drawn from the training data without involving any generative process. The exclusion of methods that require generating examples is justified by the need for plausibility which is in some regards required to gain a user's trust. Consequently, this paper will explore the following family of methods: similar examples, counterfactual and semi-factual, influential instances, prototypes, and concepts. In particular, it will compare their semantic definition, their cognitive impact, and added values. We hope it will encourage and facilitate future work on natural example-based XAI.

研究の動機と目的

• 生成プロセスを伴わない実際の訓練データを用いる自然な例に基づく説明可能性手法の体系的概要を提供すること。
• 人間の推論メカニズムと整合する例に基づく説明の認知的・心理的妥当性を分析すること。
• 類似例、対向的例、準対向的例、影響力のあるインスタンス、プロトタイプ、および概念の5つの主要フォーマットの意味的定義、認知的影響、および実用的利点を比較すること。
• サリエンシー・マップの限界を強調し、より直感的で信頼性の高い代替手段として例に基づく手法を提唱すること。
• 自然な例に基づくXAI分野における最新状況、分類体系、および未解決の課題を明確化することで、今後の研究を促進すること。

提案手法

• 例に基づく説明可能性を5つの意味的フォーマットに分類：類似例（事実）、対向的例、準対向的例、影響力のあるインスタンス、プロトタイプ、および概念。
• 各手法について、意味的定義（クエリおよび意思決定境界との関係）、認知的影響（ユーザーがどのように解釈するか）、および追加価値（信頼性、意思決定境界の洞察など）を評価する。
• 生成的手法を一切含まない、訓練データから直接抽出された自然な例に限定して分析することで、妥当性とユーザーの信頼性を確保する。
• 文献から100件以上の手法をレビューし、モデルタイプ、説明可能性タイプ、要件などのメタデータを含む比較表（表1）に整理する。
• 4つの次元に基づく分類体系を用いる：局所的／グローバル、事後的／内在的、ブラックボックス／ホワイトボックス、および説明フォーマット。
• 各手法を可能にするために重要な類似度測定法（例：ユークリッド距離、コサイン類似度）およびモデルアクセス方法（勾配、チェックポイント）の役割を分析する。

Figure 1: Natural example-based explanation formats w.r.t the studied sample (or query) and the decision boundary. We can see similar examples are the closest elements to the query, while counterfactuals and semi-factual are on either side of the point of the decision boundary the closest to the que

実験結果

リサーチクエスチョン

• RQ1 対向的例やプロトタイプなどの異なる自然な例に基づくフォーマットは、意味的意味やユーザーへの認知的影響においてどのように異なるか？
• RQ2 なぜ自然（生成されない）な例が生成例やサリエンシー・マップよりも信頼性が高く直感的なのか？
• RQ3 異なるモデルタイプやタスクにおいて、各例に基づくフォーマットの主な利点と限界は何か？
• RQ4 影響力のあるインスタンスとプロトタイプは、局所的予測を超えてモデルの挙動を理解するためにどのように寄与するか？
• RQ5 自然な例に基づく説明可能性手法の開発と評価における未解決の課題と研究ギャップは何か？

主な発見

• 例が人間の例示による学習メカニズムと一致するため、サリエンシー・マップに比べてユーザーの信頼性と解釈可能性において自然な例に基づく説明可能性が優れている。
• 類似例（事実）は、局所的信頼性の評価や誤分類の診断に最も効果的であるが、クエリの近隣領域に限定される。
• 対向的例と準対向的例は意思決定境界に関する補完的洞察を提供し、対向的例は予測を反転させるために必要な最小限の変更を示す。
• 影響力のあるインスタンスは、モデル再訓練を必要とせずに、データ駆動型のモデル挙動を理解する手がかりを提供する。
• プロトタイプと概念は、それぞれクラス表現のグローバルな理解と特徴レベルの意味的解釈を提供するが、特に密度の高いデータ領域ではプロトタイプが顕著に有効である。
• 本調査では、標準化された評価プロトコルの欠如と、異なる例フォーマットの認知的影響を検証するユーザー研究の不足が明らかになった。

Figure 2: Illustration of factuals, SF, and CF from Kenny and Keane [ 62 ] . The factual makes us understand the misclassification, while SF and CF show us how far or close the decision boundary is. Min-edit represents the AP, as differences are not visible.