[論文レビュー] Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Andrew Herren, P. Richard Hahn|arXiv (Cornell University)|Aug 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿は、SHAP と機能的 ANOVA の間の形式的関係を確立し、SHAP 値が ANOVA 成分の重み付き和に等しいことを示している。SHAP の正確さは、基準分布の選択と推定された ANOVA 項の数にきわめて依存しており、解釈可能性は無料ではなく、メソッドに埋め込まれた統計的仮定に依存することを示している。

ABSTRACT

SHAP is a popular method for measuring variable importance in machine learning models. In this paper, we study the algorithm used to estimate SHAP scores and outline its connection to the functional ANOVA decomposition. We use this connection to show that challenges in SHAP approximations largely relate to the choice of a feature distribution and the number of $2^p$ ANOVA terms estimated. We argue that the connection between machine learning explainability and sensitivity analysis is illuminating in this case, but the immediate practical consequences are not obvious since the two fields face a different set of constraints. Machine learning explainability concerns models which are inexpensive to evaluate but often have hundreds, if not thousands, of features. Sensitivity analysis typically deals with models from physics or engineering which may be very time consuming to run, but operate on a comparatively small space of inputs.

研究の動機と目的

• 機能的 ANOVA 分解と関連付けることで、SHAP の統計的基盤を明確化すること。
• 基準分布の選択と ANOVA 項の数が、SHAP 近似にどのように影響するかを調査すること。
• SHAP の解釈可能性が本質的であるのではなく、暗黙の統計的仮定に依存することを強調すること。
• 機械学習の解釈可能性とコンピュータ実験における感度分析の間のギャップを埋めること。
• 実務家が SHAP における基準分布と近似戦略の選択を、情報に基づいて行えるように導くこと。

提案手法

• 著者たちは、条件付き期待値の対比である機能的 ANOVA 成分の線形結合として SHAP 値を表現する。
• 彼らは機能的 ANOVA フレームワークを用いて、SHAP 値の計算を、すべての特徴サブセットにおける重み付き平均として形式化する。
• この手法では、特徴数 $p$ に対して $2^p$ 個の ANOVA 項を、異なる基準分布のもとで推定する。
• 本稿では、モンテカルロ・サンプリングを用いて、グローバル独立、グローバル相関、ローカル独立、およびシングル基準の4つの基準分布を比較する。
• 線形性や相互作用構造が異なる4つの合成関数において、SHAP 値を評価する。
• 理論的導出と実証的計算の両方を用いて、基準分布の選択が推定されたシャープリー値に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 基準分布の選択が、SHAP 値の推定にどのように影響するか？
• RQ2 推定された ANOVA 項の数が、SHAP 近似の正確さにどの程度影響するか？
• RQ3 機能的 ANOVA 分解は、SHAP の統計的基盤をどのように明確にするか？
• RQ4 特徴間の相関が、異なる基準仮定のもとで SHAP 値にどのように影響するか？
• RQ5 感度分析からの知見は、SHAP 評価の収束性と信頼性を向上させることができるか？

主な発見

• 基準分布の選択は SHAP 値に顕著な影響を及ぼし、相関のある基準分布は独立またはローカル基準と比べて著しく異なる結果をもたらす。
• グローバル相関基準分布を用いることで、特に特徴間の相互作用が存在する場合、推定されたシャープリー値に顕著なシフトが生じる。
• ローカル独立基準は、強い非線形性や対称性を持つ関数に対してのみ非ゼロのシャープリー値をもたらし、一般応用性に制限がある。
• シングル基準アプローチは直感的ではあるが、基準点をどこに置くかという根本的な問題を提起し、普遍的に最適な選択肢は存在しない。
• 同じモデルと入力に対しても、異なる基準のもとで計算された SHAP 値は相互に交換不能であり、推定対象が分布仮定に敏感であることが示された。
• 機能的 ANOVA の視点から、SHAP は一様な手法ではなく、条件付き期待値推定に用いられる下位の分布に依存する推定対象の族であることが明らかになった。