[論文レビュー] Do Not Trust Additive Explanations

Alicja Gosiewska, Przemysław Biecek|arXiv (Cornell University)|Mar 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 36

ひとこと要約

本論文は、表形式データに対する加法的説明手法（LIME、SHAP、Break Down）の問題点を批判し、相互作用が存在する場合に一貫性がなく誤解を招くことがあると示し、局所的な説明における相互作用を捉え、不確実性評価とベンチマークを備えた iBreakDown を導入する。

ABSTRACT

Explainable Artificial Intelligence (XAI)has received a great deal of attention recently. Explainability is being presented as a remedy for the distrust of complex and opaque models. Model agnostic methods such as LIME, SHAP, or Break Down promise instance-level interpretability for any complex machine learning model. But how faithful are these additive explanations? Can we rely on additive explanations for non-additive models? In this paper, we (1) examine the behavior of the most popular instance-level explanations under the presence of interactions, (2) introduce a new method that detects interactions for instance-level explanations, (3) perform a large scale benchmark to see how frequently additive explanations may be misleading.

研究の動機と目的

• 複雑で非加法的なモデルに対して、加法的説明がなぜ信頼できない可能性があるのか動機づける。
• 特徴間の相互作用が、LIME、SHAP、Break Down のような局所的な説明の忠実度にどのように影響するかを示す。
• 個々の事例レベルの説明で相互作用を検出する方法（iBreakDown）を提案・検証する。
• 説明の不確実性評価を提供し、実際のデータでの相互作用の頻度を示す。

提案手法

• Titanic-like toy example を用いて、加法的説明の問題をレビューし、例示する。
• 非加法性を定量化するために、単一ステップの特徴寄与とペアワイズ相互作用を定義する。
• 局所的な相互作用を捉え、相互作用の可視化を伴う非加法的な説明を生成するために iBreakDown を導入する。
• 説明の不確実性を定量化するためにブートストラップベースの手順を確立する。
• 異なる相互作用の深さを持つモデルに渡って、OpenMLの二値分類データセット上で iBreakDown をベンチマークする。
• Shapley 値と Break Down 寄与の間の関係を、置換の平均として証明する。

実験結果

リサーチクエスチョン

• RQ1 加法的な説明は、特徴の考慮順序が異なる場合でも一貫した帰属を生み出すのか。
• RQ2 特徴間の相互作用は、LIME、SHAP、Break Down のような局所的な説明の忠実度にどのように影響するのか。
• RQ3 相互作用を明示的にモデル化する方法（iBreakDown）は、より信頼性のある説明を提供し、不確実性を定量化できるか。
• RQ4 実データにおける局所的な相互作用はどれくらい頻繁で、相互作用の複雑さが増すモデルでどうなるか。

主な発見

• 相互作用が存在する場合、加法的な説明は一貫性を欠き、信頼性に欠けることがある。
• 異なる特徴順序による変動によって、加法的な説明にも不確実性が現れる。
• 提案された iBreakDown 手法は局所的な相互作用を捉え、相互作用としてウォーターフォール図で可視化された非加法的な説明を生成できる。
• OpenMLデータでのベンチマークでは、相互作用の深さが高いモデルほど検出される局所的な相互作用が多く、相互作用は一般的でモデル依存的であることを示している。
• iBreakDown の説明は、全ての順序の平均として Shapley 値と一致し、新しい手法を確立された帰属概念につなげる。
• 著者らは iBreakDown の R および Python 実装を提供している。