[論文レビュー] Looking Deeper into Tabular LIME

Damien Garreau, Ulrike von Luxburg|arXiv (Cornell University)|Aug 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 10

ひとこと要約

本稿は、表形式LIMEの理論的分析を提供し、大標本極限において、その解釈可能な係数が、モデルパラメータおよびブラックボックスモデル上の期待値の関数として明示的に計算可能であることを証明する。線形関数やスパース関数の文脈ではLIMEが関連する特徴を正しく特定するが、CARTフォレストのような分割ベースのモデルでは誤ったアーティファクトを生成することが示される。

ABSTRACT

In this paper, we present a thorough theoretical analysis of the default implementation of LIME in the case of tabular data. We prove that in the large sample limit, the interpretable coefficients provided by Tabular LIME can be computed in an explicit way as a function of the algorithm parameters and some expectation computations related to the black-box model. When the function to explain has some nice algebraic structure (linear, multiplicative, or sparsely depending on a subset of the coordinates), our analysis provides interesting insights into the explanations provided by LIME. These can be applied to a range of machine learning models including Gaussian kernels or CART random forests. As an example, for linear functions we show that LIME has the desirable property to provide explanations that are proportional to the coefficients of the function to explain and to ignore coordinates that are not used by the function to explain. For partition-based regressors, on the other side, we show that LIME produces undesired artifacts that may provide misleading explanations.

研究の動機と目的

• 表形式データの文脈における、表形式LIMEのデフォルト実装の厳密な理論的基盤を提供すること。
• 線形関数や乗法的関数のような卒単で解釈可能なモデルに対して、LIMEの説明が数学的に整合しているかどうかを調査すること。
• ブラックボックスモデルが使用しない特徴をLIMEが実際に無視することを証明できることを確認すること。
• LIMEが誤ったまたは誤解を招く説明を生成するケースを特定すること。
• 既存の手法の理論的限界を明らかにすることで、より良い解釈可能性手法の設計を支援すること。

提案手法

• ブラックボックスモデル上の期待値計算を用いて、大標本極限における表形式LIMEの解釈可能な係数の明示的公式を導出する。
• 説明対象のインスタンツ周辺の局所的摂動を定義するために、ガウスカーネルに基づく重み付けスキームを用いる。
• 特徴の独立性を活用して、重み付きモデル出力の期待値を統計的学習理論を用いて計算する。
• 正規化定数を導入し、線形近似における係数計算を簡略化する。
• ブラックボックス関数に構造的仮定（例：線形性、スパarsity、乗法的構造）を適用した場合のLIMEの挙動を分析する。
• 理論的予測を実験的に検証し、観察された挙動と密接に一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスモデルが線形である場合、表形式LIMEは真の関数と数学的に整合する説明を生成するか？
• RQ2 ブラックボックスモデルの出力に影響しない特徴を、表形式LIMEが実際に無視できるか？
• RQ3 ブラックボックスモデルがCARTフォレストのような分割ベースの回帰器である場合、LIMEの説明はどのように変化するか？
• RQ4 アルゴリズムのパラメータ（例：バンド幅ν）は、説明の安定性および正確性にどのように影響するか？
• RQ5 ブラックボックスモデルにどのような構造的仮定が成り立つと、LIMEの挙動を解析的に特定できるか？

主な発見

• 線形関数の場合、表形式LIMEは真の係数に比例する説明を生成し、正しさと一貫性を示す。
• ブラックボックス関数が特徴の部分集合にのみ依存する場合、表形式LIMEは関係のない特徴に対して係数をゼロに割り当てる（特徴の無関係性検出を明示的に確認）。
• 乗法的関数やスパースに依存する関数の場合、与えられた仮定のもとでLIMEの説明は真の関数的構造と一致し続ける。
• CARTフォレストのような分割ベースのモデルの場合、LIMEは予測に影響しない特徴に対して非ゼロ係数を生成するアーティファクトを生成する。
• 期待値計算から導出された理論的予測は、実験結果と密接に一致し、解析的フレームワークの妥当性が検証された。
• 重み関数の選択が説明品質に顕著に影響することが明らかになった。これは、特定のモデルに対して非デフォルトの重みを用いることで性能向上が可能である可能性を示唆する。