[論文レビュー] "Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations

Yujia Zhang, Kuangyan Song+3 more|arXiv (Cornell University)|Apr 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 69

ひとこと要約

本論文はLIMEの説明における不確実性の3つの源を特定し—サンプリングのランダム性、近接性に基づく差異、クロスポイントの信頼性—、人工データ、20ニュースグループ、COMPAS模倣データを含むデータポイント間およびデータセット全体での不安定性を実証する。

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method "Local Interpretable Model-agnostic Explanations" (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

研究の動機と目的

• LIMEの説明における不確実性の源を特定し、分類する。
• サンプリングと近接性がLIMEの特徴選択にどのように影響するかを示す。
• 異なるデータポイントやデータセット間で説明の変動を示す。
• 事後説明の信頼性と信頼性への示唆を論じる。

提案手法

• LIMEの説明における3つの不確実性源を定義する：サンプリング分散、近接感度、クロスポイント信頼性の変動。
• サンプリング分散と近接効果を研究するために、合成木生成データを使用する。
• 20 Newsgroupsのテキスト分類にLIMEを適用し、文書間で局所的な説明の妥当性を評価する。
• COMPAS模倣モデルを分析し、LIMEの説明の一貫性と潜在的な公平性シグナルを検討する。

実験結果

リサーチクエスチョン

• RQ1 LIMEの説明における主な不確実性源は何か？
• RQ2 特定の入力に対するLIMEの特徴選択の安定性にサンプリング分散はどう影響するか？
• RQ3 サンプリング近接性とパラメータの選択はLIMEの説明にどう影響するか？
• RQ4 LIMEの説明はデータポイント間で信頼性の変動を示すか、それは信頼性にどのような意味を持つか？
• RQ5 COMPAS模倣データのような実世界データセットで、LIMEの説明は一貫性があり信頼できるか？

主な発見

• サンプリング分散により、単一のデータポイントに対する繰り返しのLIME試行で異なる特徴が選択される。
• 小さなサンプリング近接性は局所的に重要な特徴を捉えやすく、より大きな近接性はよりグローバルな特徴を捉える。
• 説明はデータポイントごとに異なり、局所説明におけるモデルの信頼性が変動する。
• 20 Newsgroupsのテキスト分類では、いくつかのトップ特徴がある文書では意味があるが別の文書では有益でないことがあり、一貫性のない信頼性を示している。
• COMPAS模倣データセットでは、データポイントと試行を通じて説明が比較的一貫しており、その場合の信頼性が示唆され、人口統計的特徴が影響力を持つことが強調された。