[論文レビュー] Efficient nonparametric statistical inference on population feature importance using Shapley values

Brian D. Williamson, Jean Feng|PubMed|Jun 16, 2020

Statistical Methods and Inference参考文献 20被引用数 18

ひとこと要約

この論文は、シャープレー値を用いた集団的特徴量重要度の統計的推論のための計算的に効率的で非パrametricな手法を提案する。n 個の観測値から Θ(n) 個の特徴量サブセットをサンプリングするだけで、漸近的に最適な収束を達成し、妥当な信頼区間と仮説検定を可能にする。シミュレーションとICU死亡率予測の両方で、さまざまな機械学習モデルにおいて一貫した結果が得られた。

ABSTRACT

The true population-level importance of a variable in a prediction task provides useful knowledge about the underlying data-generating mechanism and can help in deciding which measurements to collect in subsequent experiments. Valid statistical inference on this importance is a key component in understanding the population of interest. We present a computationally efficient procedure for estimating and obtaining valid statistical inference on the <b>S</b>hapley <b>P</b>opulation <b>V</b>ariable <b>I</b>mportance <b>M</b>easure (SPVIM). Although the computational complexity of the true SPVIM scales exponentially with the number of variables, we propose an estimator based on randomly sampling only Θ(<i>n</i>) feature subsets given <i>n</i> observations. We prove that our estimator converges at an asymptotically optimal rate. Moreover, by deriving the asymptotic distribution of our estimator, we construct valid confidence intervals and hypothesis tests. Our procedure has good finite-sample performance in simulations, and for an in-hospital mortality prediction task produces similar variable importance estimates when different machine learning algorithms are applied.

研究の動機と目的

• 非パラメトリックな設定における集団レベルの変数重要度の統計的推論のための計算的に実行可能な手法の開発。
• 特徴量重要度の正確なシャープレー値推定における指数的計算複雑性の問題の解決。
• 漸近的分布理論を用いて、集団的変数重要度の妥当な信頼区間と仮説検定の構築。
• パラメトリックな仮定や相関に起因するバイアスの制限を超えた、既存のシャープレーに基づく重要度測定の一般化。
• 多様な機械学習モデルと現実世界のデータ（例：ICU死亡率予測）において、強固な性能を示すことの実証。

提案手法

• 真のシャープレー値に基づく集団的変数重要度測定（SPVIM）を近似するために、Θ(n) 個のランダムな特徴量サブセットを抽出するサンプリングベースの推定器を提案。
• 推定器の漸近的分布を導出し、誤差をモデル推定誤差とサブセット省略誤差の2つに分解。
• 漸近的分布を用いて、適切な第一種誤り率制御のもとで妥当な信頼区間と仮説検定を構築。
• 分散説明率やパラメトリックモデルに制限されない、任意の予測能測定 V を適用可能。
• 実際にはサンプルサイズ m = Θ(n) よりも少ない数の固有サブセットが使用されるように、非対称なサンプリング分布を採用。
• オープンソースパッケージ（Python の vimpy、R の vimp）に実装し、GitHub で再現可能なコードを提供。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズに伴い良好にスケーリングする、シャープレー値を用いた集団的特徴量重要度のための計算的に効率的な推定器を開発可能か？
• RQ2 大多数の特徴量サブセットを省略しても、提案されたサンプリングベースの推定器が漸近的に最適な収束レートを達成できるか？
• RQ3 推定器の漸近的分布を用いて、SPVIM のための妥当な信頼区間と仮説検定を構築可能か？
• RQ4 異なる機械学習モデルと現実世界のデータセットにおいて、有限標本での性能はいかがなっているか？
• RQ5 同じデータに対して異なる予測モデルを適用した場合、SPVIM 評価値はどの程度一貫性を示すか？

主な発見

• 提案された推定器は、たった Θ(n) 個のサンプルサブセットでのみ、漸近的に最適な収束レートを達成し、計算コストを顕著に削減した。
• 漸近的分布理論を用いた妥当な統計的推論が可能であり、適切な第一種誤り率制御のもとで信頼区間と仮説検定をサポートした。
• 200 個の変数を含むシミュレーションでは、さまざまな標本サイズにおいて SPVIM 評価値が一貫しており、非予測的特徴量の近似ゼロ値を正確に回復した。
• ICU 死亡率予測の事例では、複数の機械学習モデルにおいて SPVIM 評価値が安定しており、アルゴリズム選択に対するロバストネスを示した。
• 実際の応用では、サンプルサイズ m = Θ(n) よりもはるかに少ない数の固有サブセットが使用された。これは非対称なサンプリング分布のおかげである。
• 平均絶対 SHAP 値が、特に予測能測定 V が凸関数（例：平均二乗誤差）である場合には、SPVIM と関連していることが示された。