[論文レビュー] Shapley value confidence intervals for variable selection in regression models

Daniel Fryer, Inga Strümke+1 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Statistical Methods and Models被引用数 7

ひとこと要約

本稿では、回帰モデルにおける変数の重要度を評価するために、ゲーム理論による決定係数の分解を活用して、Shapley値の漸近的信頼区間を提案する。楕円対称性のもとで、Shapley値の漸近的正規性が確立され、ブートストラップ法よりも計算効率と精度に優れた仮説検定および区間推定が可能になる。

ABSTRACT

Multiple linear regression is a commonly used inferential and predictive process, whereby a single response variable is modeled via an affine combination of multiple explanatory covariates. The coefficient of determination is often used to measure the explanatory power of the chosen combination of covariates. A ranking of the explanatory contribution of each of the individual covariates is often sought in order to draw inference regarding the importance of each covariate with respect to the response phenomenon. A recent method for ascertaining such a ranking is via the game theoretic Shapley value decomposition of the coefficient of determination. Such a decomposition has the desirable efficiency, monotonicity, and equal treatment properties. Under an elliptical assumption, we obtain the asymptotic normality of the Shapley values. We then utilize this result in order to construct confidence intervals and hypothesis tests regarding such quantities. Monte Carlo studies regarding our results are provided. We found that our asymptotic confidence intervals are computationally superior to competing bootstrap methods and are able to improve upon the performance of such intervals. Analyses of housing and real estate data are used to demonstrate the applicability of our methodology.

研究の動機と目的

• 単なる順位付けを超えて、回帰モデルにおける変数の重要度に関する統計的推論のニーズに対処すること。
• Shapley値の信頼区間をブートストラップ法の代替として、計算効率の高い方法を提供すること。
• 有効な推論が可能となるよう、楕円分布的仮定のもとでShapley値の漸近的正規性を確立すること。
• R²への個々の変数寄与の仮説検定および信頼区間構築を可能にすること。
• 実世界の住宅および不動産データを用いた応用を通じて、本手法の実用的有用性を示すこと。

提案手法

• 本稿では、決定係数（R²）のゲーム理論的Shapley値分解を用い、各共変数に公平で効率的かつ単調な寄与を割り当てる。
• 共変数に楕円対称性の仮定をおくと、Shapley値の漸近的分布を導出する。
• Shapley値の漸近的正規性が確立され、信頼区間および仮説検定の構築が可能になる。
• 漸近的分布の推定には、正則性条件の下でのデルタ法および分散・共分散推定に依存する。
• 有限標本における信頼区間の性能を検証するためにモンテカルロシミュレーションを用いる。
• 被覆確率および計算コストの観点から、ブートストラップ法に基づく区間と実証的に比較する。

実験結果

リサーチクエスチョン

• RQ1 回帰モデルにおいて、楕円対称性の仮定のもとで、Shapley値の漸近的信頼区間を構築できるか？
• RQ2 被覆精度および計算効率の観点から、これらの漸近的区間はブートストラップ法に基づく区間とどのように比較されるか？
• RQ3 提案された区間は、変数の重要度に関する仮説検定において適切な第一種の過誤率を維持するか？
• RQ4 実世界の回帰応用において、不動産および住宅データを用いた実データ解析で本手法の経験的性能はいかがなものか？
• RQ5 R²のShapley値分解を用いて、変数寄与に関する有効な統計的推論を提供できるか？

主な発見

• 楕円対称性のもとで、回帰係数のShapley値は漸近的に正規分布に従い、有効な推論が可能になる。
• 提案された漸近的信頼区間は、ブートストラップ法と同等またはそれ以上の被覆精度を達成する。
• 漸近的アプローチは、特に高次元設定において、ブートストラップ法よりも著しく高速である。
• モンテカルロ研究により、さまざまな標本サイズおよび相関構造のもとで、漸近的区間が適切な被覆水準を維持することが確認された。
• 実データ解析において、本手法は住宅および不動産データセットにおける主要な予測変数を信頼性のある推論とともに的確に同定した。
• 理論的厳密性と計算効率を組み合わせることで、従来の手法に比して変数の重要度評価において優れた成果を上げた。