[論文レビュー] Sampling Permutations for Shapley Value Estimation

Rory Mitchell, Joshua Cooper+2 more|arXiv (Cornell University)|Apr 25, 2021

Machine Learning and Algorithms参考文献 46被引用数 26

ひとこと要約

本論文は、Shapley値推定のために置換をより効率的にサンプルするためのカーネルベースおよび球体緩和法を開発し、標準モンテカルロよりも収束を速くする。

ABSTRACT

Game-theoretic attribution techniques based on Shapley values are used to interpret black-box machine learning models, but their exact calculation is generally NP-hard, requiring approximation methods for non-trivial models. As the computation of Shapley values can be expressed as a summation over a set of permutations, a common approach is to sample a subset of these permutations for approximation. Unfortunately, standard Monte Carlo sampling methods can exhibit slow convergence, and more sophisticated quasi-Monte Carlo methods have not yet been applied to the space of permutations. To address this, we investigate new approaches based on two classes of approximation methods and compare them empirically. First, we demonstrate quadrature techniques in a RKHS containing functions of permutations, using the Mallows kernel in combination with kernel herding and sequential Bayesian quadrature. The RKHS perspective also leads to quasi-Monte Carlo type error bounds, with a tractable discrepancy measure defined on permutations. Second, we exploit connections between the hypersphere $\mathbb{S}^{d-2}$ and permutations to create practical algorithms for generating permutation samples with good properties. Experiments show the above techniques provide significant improvements for Shapley value estimates over existing methods, converging to a smaller RMSE in the same number of model evaluations.

研究の動機と目的

• Shapley値の厳密計算がNP困難な機械学習モデルに対して、Shapley値の効率的な近似を動機付ける。
• 置換ベースのサンプリングをRKHS問題として特徴づけ、高度なサンプリング戦略を可能にする。
• カーネルベースと球面緩和サンプリング法を開発・比較し、推定誤差を低減する。
• サンプルされた置換集合の誤差境界とずれ（ディスクリペア）測度を提供する。
• 実用モデルで手法を評価し、標準サンプリングに対するRMSEの改善を示す。

提案手法

• Kendall、Mallows、Spearman などのカーネルを用いて置換上のRKHSを定義し、置換の類似度を測定する。
• カーネルハーディングと逐次ベイズ区間積分を適用して、Shapley値推定の高品質な置換サンプルを生成する。
• 置換空間のRKHSにおけるずれ（ディスクリペア）測度を用いて準モンテカルロ型の誤差境界を導出する。
• 置換を hypersphere S^(d-2) に写像することに基づく2つのサンプリング方式を導入し、直交球面コードやSobol置換を含む、間隔の整ったサンプルを生成する。
• 一様置換分布の下でのカーネル値の解析的期待値を提供し、カーネルベースの積分を効率的に計算できるようにする。

実験結果

リサーチクエスチョン

• RQ1 モデルのShapley値推定を、uniformモンテカルロよりも効果的に置換をサンプリングすることでどう改善できるか。
• RQ2 RKHSベースのアプローチとカーネルは、置換ベースのShapley推定の収束を速くし、信頼性の高い誤差境界を得られるか。
• RQ3 置換の幾何学（球面緩和を介して）を利用したサンプリング法は、Shapley推定のためのより高品質な置換サンプルを生み出すか。
• RQ4 実モデルにおけるカーネルベース法と球面ベースサンプリングの実用的な性能およびずれの利点は何か。
• RQ5 これらの手法は、RMSEと分散の観点でどのように性能を示すか。

主な発見

• Mallowsカーネルを用いたカーネルハーディングは、特定の普遍性条件のもとShapley値推定に対してO(1/n)収束率をもたらす。
• 逐次ベイズ区間積分は、重み付き置換サンプルを得るための原理的な方法を提供し、積分分散を推定する。
• RKHSにおけるずれ分析は、置換ベースの関数の積分誤差にサンプリング品質を関連づける扱いやすい境界を与える。
• 球面ベースのサンプリング法は置換をS^(d-2)の超球面に写像し、直交球面コードやSobol風の置換を用いて良く分布したサンプルを生成する。
• 実証結果は、複数のモデルで標準モンテカルロと比較してShapley推定のRMSEが著しく改善され、サンプル集合のずれ測度も評価された。