[論文レビュー] PolySHAP: Extending KernelSHAP with Interaction-Informed Polynomial Regression

Fabian Fumagalli, R. Teal Witter+1 more|arXiv (Cornell University)|Jan 26, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

PolySHAP は KernelSHAP を拡張し、Shapley ゲームに対して線形の近似の代わりに多項式を適合させることで特徴量の相互作用を捉え、Shapley 値の推定を改善する。理論的一貫性と KernelSHAP へのペアリングサンプリングのリンクを提供する。

ABSTRACT

Shapley values have emerged as a central game-theoretic tool in explainable AI (XAI). However, computing Shapley values exactly requires $2^d$ game evaluations for a model with $d$ features. Lundberg and Lee's KernelSHAP algorithm has emerged as a leading method for avoiding this exponential cost. KernelSHAP approximates Shapley values by approximating the game as a linear function, which is fit using a small number of game evaluations for random feature subsets. In this work, we extend KernelSHAP by approximating the game via higher degree polynomials, which capture non-linear interactions between features. Our resulting PolySHAP method yields empirically better Shapley value estimates for various benchmark datasets, and we prove that these estimates are consistent. Moreover, we connect our approach to paired sampling (antithetic sampling), a ubiquitous modification to KernelSHAP that improves empirical accuracy. We prove that paired sampling outputs exactly the same Shapley value approximations as second-order PolySHAP, without ever fitting a degree 2 polynomial. To the best of our knowledge, this finding provides the first strong theoretical justification for the excellent practical performance of the paired sampling heuristic.

研究の動機と目的

• KernelSHAP による線形近似を超える Shapley 値推定の改善を特徴量の相互作用を取り入れて動機づける。
• PolySHAP を提案し、選択された相互作用を含む多項式回帰フレームワークで Shapley ゲームを近似する。
• 理論的保証を提供する：PolySHAP 推定が真の Shapley 値へ一貫性を持って収束すること。
• paired KernelSHAP と第2次 PolySHAP の関係を確立し、経験的な精度向上を説明する。

提案手法

• 解説ゲームを特徴量包含のバイナリ指示子の多項式として表現する、相互作用フロンティア I を用いる。
• ゲームを近似するために、d' = d + |I| 個の係数上の正則化付き最小二乗問題を解く（式 4）。
• Shapley 値は PolySHAP の係数からの写像（定理 4.3）で回復できることを示す。
• レバレッジスコアベースのサンプリングを用いてゲーム評価を選択し、回帰設計行列の効率的な構築を議論する（セクション 4.3）。
• 予算 m に応じてモデルの複雑さを制御する k-加算および部分的相互作用フロンティアを定義する（セクション 4.4）。
• paired KernelSHAP と二次 PolySHAP の理論的一致性を確立する（定理 5.1）。

Figure 1: Both KernelSHAP and PolySHAP fit a function to approximate a sample of game evaluations. While KernelSHAP uses a linear approximation, PolySHAP uses a more expressive polynomial approximation. Finally, both algorithms return the Shapley values (SV) of their respective approximations (trivi

実験結果

リサーチクエスチョン

• RQ1 高度な次数の相互作用項を含む多項式近似は KernelSHAP より Shapley 値推定を改善できるか？
• RQ2 PolySHAP を用いて Shapley 値を回復する際の理論的保証（一貫性）は何か？
• RQ3 paired sampling は PolySHAP とどう関連し、相互作用構造全体での精度改善を説明するのか？
• RQ4 サンプリング予算を考慮した場合、相互作用フロンティアはどう選ぶべきか？
• RQ5 実務的なバリアント（paired sampling、partial frontiers）はデータ領域（表形式、画像、テキスト）での性能に影響を与えるか？

主な発見

• PolySHAP は benchmark データセット全体で KernelSHAP および他のベースラインより Shapley 値推定がより正確である。
• PolySHAP の表現はサンプル予算 m が 2^d に近づくにつれて真の Shapley 値へ一貫して収束する（一致性）。
• paired KernelSHAP は第2次 PolySHAP と全く同じ Shapley 近似を出力し、ペアリングサンプリングの実務的な利得を理論的に正当化する。
• PolySHAP に高次の相互作用を含めると近似品質が向上し、特に paired sampling を用いる場合に顕著な改善が見られる。 partial inclusion も予算の下で substantial gains を提供する。
• k-PolySHAP は順序 k まで Faith-SHAP に対応し、1-PolySHAP は KernelSHAP に退化する（特殊ケース）。
• 実証的結果は高次元での収益が低下する傾向を示すが、予算がより多くの相互作用をモデリングできる場合には改善が見られる。

Figure 2: Approximation quality measured by MSE ( $\pm$ SEM) for various sampling budgets $m$ on different games. Adding any number of interactions in PolySHAP improves approximation quality.