[論文レビュー] Explaining the Explainer: A First Theoretical Analysis of LIME

Damien Garreau, Ulrike von Luxburg|arXiv (Cornell University)|Jan 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 51

ひとこと要約

この論文はLIMEの初の理論的分析を提供し、線形ターゲットのための閉形式の代理係数表現を導出し、LIMEが真の特徴を強調する条件や重要な特徴を見逃す可能性を示す。

ABSTRACT

Machine learning is used more and more often for sensitive applications, sometimes replacing humans in critical decision-making processes. As such, interpretability of these algorithms is a pressing need. One popular algorithm to provide interpretability is LIME (Local Interpretable Model-Agnostic Explanation). In this paper, we provide the first theoretical analysis of LIME. We derive closed-form expressions for the coefficients of the interpretable model when the function to explain is linear. The good news is that these coefficients are proportional to the gradient of the function to explain: LIME indeed discovers meaningful features. However, our analysis also reveals that poor choices of parameters can lead LIME to miss important features.

研究の動機と目的

• 敏感な応用でブラックボックスモデルの解釈性を動機づける。
• 表形式データ設定における線形説明器のためのTabularLIMEを正式化する。
• 説明される関数の勾配と代理係数の閉形式表現を導出する。
• パラメータ選択が特徴発見と代理忠実度にどのように影響するかを調査する。

提案手法

• ユークリッド距離とガウスサンプリングを用いてTabularLIMEを分析する。
• 特徴をクォンタイルベースのビンで離散化し、バイナリの解釈可能特徴としてエンコードする。
• 代理をバイナリ特徴上の加重最小二乗問題として定式化する。
• 基礎となる関数パラメータに対する代理係数の閉形式表現を導出する。
• 代理係数の推定誤差と局所代理誤差の確率的境界を提供する。
• 帯域νと離散化が係数の大きさと特徴選択に及ぼす影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 LIMEの代理係数は、説明対象のインスタンスでブラックボックスモデルの勾配を反映しているか？
• RQ2 パラメータ選択によりTabularLIMEが重要な特徴を見逃す条件は？
• RQ3 LIME代理の局所近似誤差はどれくらいで、サンプルサイズの増加とともにどのように振る舞うか？
• RQ4 離散化とサンプリング設定は、説明の解釈性と堅牢性にどのように影響するか？

主な発見

• 代理係数は、説明対象の点での f の偏微分に比例する。
• 十分なサンプルがあれば、TabularLIMEの係数は理論的値の近くに集中し、真の特徴の重要性を反映する。
• 帯域幅パラメータを変更すると特徴をオフにでき、重要な特徴が説明から消える。
• 局所代理誤差は、特定の打ち消しが起こらない限り、通常0から離れた値で境界づけられる。
• 非零係数は、予測に影響を与える座標のみ持続することができ、関連性のない座標は0に近づく。
• この分析は説明の頑健性を強調するが、パラメータ選択による不安定性の可能性も示す。