[論文レビュー] Why should you trust my interpretation? Understanding uncertainty in LIME predictions.

Hui Fen Tan, Kuangyan Song+3 more|arXiv (Cornell University)|Apr 29, 2019

Explainable Artificial Intelligence (XAI)被引用数 17

ひとこと要約

本稿は、LIMEの解釈における不確実性を調査し、2つの主要因を特定する。すなわち、サンプリングのランダムネスと、データポイントごとの解釈品質のばらつきである。高いモデル精度を示しても、LIMEの解釈は不安定かつ信頼性が低く、ブラックボックスモデルの解釈に対する信頼を損なう。

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method Local Interpretable Model-agnostic Explanations (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

研究の動機と目的

• 機械学習モデルにおけるLIME解釈の信頼性を調査すること。
• LIMEの説明生成プロセスにおける不確実性の原因を特定・分析すること。
• さまざまな入力データポイントにおける解釈の安定性の変動を評価すること。
• 高いモデル精度が、信頼できるか一貫性のあるLIMEの解釈を保証しないことを示すこと。
• 不確実性が、実世界の応用におけるモデルの解釈可能性に対する信頼に与える影響を評価すること。

提案手法

• 本研究では、合成データ、20 Newsgroupテキスト分類データセット、COMPAS再犯リスクスコアリングデータセットにLIMEを適用する。
• 同じ入力に対して異なる乱数シードで複数回LIMEを実行することで、サンプリングばらつきを評価し、解釈の安定性を測定する。
• 利用可能な場合、特徴量の重要度の一貫性と真の説明との類似度を用いて、解釈の品質を測定する。
• 多様な入力インスタンス間でのLIMEの説明を比較し、信頼性および安定性のばらつきを検出する。
• 複数回のLIME実行における特徴量重みおよび選択された特徴量の分散を分析することで、不確実性を定量化する。
• 統計的分析を用いて、モデルのパフォーマンス（訓練/テスト精度）と説明の信頼性の相関関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 LIMEの解釈品質に影響を与える不確実性の原因は何か？
• RQ2 サンプリングのランダムネスは、LIMEの解釈の安定性にどのように影響するか？
• RQ3 高い精度のモデルであっても、異なる入力データポイント間で解釈の品質に顕著な差が生じるか？
• RQ4 高いモデル精度が、信頼できるLIMEの解釈とどの程度相関するか？
• RQ5 LIMEにおける不確実性は、モデルの解釈可能性に対する信頼にどのように影響するか？

主な発見

• LIMEは、そのサンプリング手順におけるランダムネスのため、顕著な不確実性を示しており、複数回の実行で特徴量の重要度順位が一貫しない。
• 同じモデルが良好に動作している場合でも、異なる入力データポイント間で解釈の品質に顕著なばらつきが生じる。
• 高い訓練およびテスト精度が、LIMEの解釈の安定性や信頼性を保証するものではなく、解釈の信頼性に関する仮定を揺るがす。
• LIMEの複数回の実行における特徴量選択のばらつきは、個々の解釈の再現可能性と信頼性を損なう。
• 良好に動作するモデルであっても、LIMEの解釈における不確実性は存在し、特に再犯リスクスコアリングのような重要度の高い意思決定文脈では懸念を呼び起こす。
• 本研究は、LIMEの解釈が不安定かつ信頼性が低い可能性があることを示しており、特に再犯リスクスコアリングのような感受性の高い応用分野において顕著である。