[論文レビュー] From Shapley Values to Generalized Additive Models and back

Sebastian Bordt, Ulrike von Luxburg|arXiv (Cornell University)|Sep 8, 2022

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本稿では、相互作用効果を最大n次まで捉えるように一般化された、局所後向き説明手法のパrametric族であるn-Shapley値を導入する。この手法は、n-Shapley値と一般化線形加法モデル（GAMs）の間の明確な関数的対応関係を確立し、n次までの相互作用を伴うGAMの真の機能的分解を回復できることを示しており、説明可能AIにおけるShapley値の原理的かつ関数的根拠に基づく解釈を提供する。

ABSTRACT

In explainable machine learning, local post-hoc explanation algorithms and inherently interpretable models are often seen as competing approaches. This work offers a partial reconciliation between the two by establishing a correspondence between Shapley Values and Generalized Additive Models (GAMs). We introduce $n$-Shapley Values, a parametric family of local post-hoc explanation algorithms that explain individual predictions with interaction terms up to order $n$. By varying the parameter $n$, we obtain a sequence of explanations that covers the entire range from Shapley Values up to a uniquely determined decomposition of the function we want to explain. The relationship between $n$-Shapley Values and this decomposition offers a functionally-grounded characterization of Shapley Values, which highlights their limitations. We then show that $n$-Shapley Values, as well as the Shapley Taylor- and Faith-Shap interaction indices, recover GAMs with interaction terms up to order $n$. This implies that the original Shapely Values recover GAMs without variable interactions. Taken together, our results provide a precise characterization of Shapley Values as they are being used in explainable machine learning. They also offer a principled interpretation of partial dependence plots of Shapley Values in terms of the underlying functional decomposition. A package for the estimation of different interaction indices is available at \url{https://github.com/tml-tuebingen/nshap}.

研究の動機と目的

• Shapley値のような局所後向き説明手法と、一般化線形加法モデル（GAMs）のような本質的に解釈可能なモデルを統合すること。
• Shapley値と機能的分解の関係を形式化し、特に高次相互作用を捉える際の限界を強調すること。
• n次までの変数相互作用をモデル化できる、説明アルゴリズムのパrametric族としてn-Shapley値を提案すること。
• Shapleyベースの説明（n-Shapley、Shapley Taylor、Faith-Shapを含む）が、n次までの相互作用を伴うGAMに対して完全に忠実であることを示すこと。
• 関数的分解へのShapley値の関数的根拠に基づく特徴付けを提供すること、特に関数を加法的成分に一意に分解する点に焦点を当てる。

提案手法

• n次までの相互作用項を組み込む標準Shapley値の一般化としてn-Shapley値を導入する。
• Shapley-GAM分解を、部分集合適合性と価値関数の性質に基づく、予測関数の加法的成分への機能的分解として定義する。
• n-Shapley値が、n次までの相互作用を伴うGAMの真の非線形成分関数を回復できることを確立する。
• Shapleyベースの説明（Shapley TaylorやFaith-Shapを含む）が、説明の順序がモデルの相互作用順序と一致またはそれを上回る場合、GAMに対して完全に忠実であることを証明する。
• 部分集合適合性を、価値関数が明確に定義された機能的分解を生み出すために必要な十分条件として用いる。
• kNN分類器上で500、5000、133,549サンプルを用いてShapley-GAM分解を推定し、高次項の安定性と正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Shapley値は、変数の相互作用が存在する場合、一般化線形加法モデル（GAMs）とどのように関係しているか？
• RQ2 Shapleyベースの説明は、n次までの相互作用を伴うGAMの機能的分解を忠実に回復できるか？
• RQ3 Shapley値は、ニューラルネットワークのような複雑な非線形モデルを説明する際に、どのような機能的役割を果たすか？
• RQ4 どのような条件下で、価値関数が予測関数の一意かつ意味のある機能的分解を生み出すか？
• RQ5 n-Shapleyフレームワークは、局所後向き説明と本質的に解釈可能なモデルをどのように統合するか？

主な発見

• n-Shapley値は、n次までの相互作用を伴うGAMの真の機能的分解を回復し、説明手法と解釈可能なモデルの間の明確な対応関係を確立する。
• 説明の順序がモデルの最大相互作用順序と一致またはそれを上回る場合、Shapleyベースの説明（n-Shapley、Shapley Taylor、Faith-Shapを含む）はGAMに対して完全に忠実である。
• 干渉的SHAP値は、変数の相互作用がないGAMに対して完全に忠実であり、特徴の依存性が存在しても問題ない。これは、それらの解釈に関する長年の曖昧さを解消する。
• 部分集合適合性の条件下では、Shapley-GAM分解は一意に定まるため、Shapley値の関数的根拠に基づく特徴付けが可能になる。
• 小規模なサンプルサイズ（例：N=5000）では高次Shapley係数の推定がやや不正確になるが、全体の機能的和は安定しており、Folktables Travelデータセットにおける実証的推定で示された。
• 結果から、任意の関数、特にニューラルネットワークであっても、Shapleyベースの説明によってGAMに類似した形で高次相互作用を含む関数的分解が可能であると示唆される。