[論文レビュー] Bayesian subset selection and variable importance for interpretable prediction and classification

Daniel R. Kowal|arXiv (Cornell University)|Apr 20, 2021

Statistical Methods and Inference参考文献 6被引用数 6

ひとこと要約

本論文は、単一の「最良」サブセットの不安定な探索を、近似的に最適なサブセットの集合に置き換えるベイジアンフレームワークを提案する。これにより、予測および分類の分野で、安定的かつ解釈可能なモデルが得られる。予測損失とベイジアン意思決定分析を統合することで、正則化、不確実性の定量化、および新しい変数重要性指標が可能となり、相関のある共変量を有するシミュレーションおよび実世界の教育データにおいて、頻度的およびベイジアンの代替手法を上回る性能を示す。

ABSTRACT

Subset selection is a valuable tool for interpretable learning, scientific discovery, and data compression. However, classical subset selection is often avoided due to selection instability, lack of regularization, and difficulties with post-selection inference. We address these challenges from a Bayesian perspective. Given any Bayesian predictive model $\\mathcal{M}$, we extract a family of near-optimal subsets of variables for linear prediction or classification. This strategy deemphasizes the role of a single "best" subset and instead advances the broader perspective that often many subsets are highly competitive. The acceptable family of subsets offers a new pathway for model interpretation and is neatly summarized by key members such as the smallest acceptable subset, along with new (co-) variable importance metrics based on whether variables (co-) appear in all, some, or no acceptable subsets. More broadly, we apply Bayesian decision analysis to derive the optimal linear coefficients for any subset of variables. These coefficients inherit both regularization and predictive uncertainty quantification via $\\mathcal{M}$. For both simulated and real data, the proposed approach exhibits better prediction, interval estimation, and variable selection than competing Bayesian and frequentist selection methods. These tools are applied to a large education dataset with highly correlated covariates. Our analysis provides unique insights into the combination of environmental, socioeconomic, and demographic factors that predict educational outcomes, and identifies over 200 distinct subsets of variables that offer near-optimal out-of-sample predictive accuracy.

研究の動機と目的

• 高次元データにおける古典的サブセット選択の不安定性、正則化の欠如、選択後推論の課題に対処すること。
• 単一の「最良」サブセットの探索を、解釈性と耐性を高める近的最適サブセットの集合に置き換えること。
• 許容可能なサブセット内で変数の包含頻度に基づく新しいベイジアン変数重要性指標を開発し、共変量の影響に関する科学的洞察を向上させること。
• 予測モデリングと意思決定理論的サブセット選択を統合し、単一の予測モデルを通じて正則化と不確実性の定量化を保証すること。
• シミュレーションおよび実世界の教育データにおいて、頻度的およびベイジアンの代替手法と比較して、予測、信頼区間推定、および変数選択の安定性において優れた性能を示すこと。

提案手法

• モデル 𝒟 における期待予測損失を最小化するベイジアン意思決定問題としてサブセット選択を定式化し、点推定に依存しないこと。
• 最良サブセットからの予測損失の許容誤差 Δ 以内で、近的最適な予測性能を達成するサブセットの集合 𝒜（許容家族）を定義すること。
• 完全なベイジアンモデル 𝒟 からの事後予測分布を用いて、サンプル外の予測損失を計算し、許容サブセットを同定すること。
• 完全モデルからの正則化と不確実性の定量化を継承するベイジアン意思決定分析により、各サブセットに対する最適な線形係数を導出すること。
• 新しい変数重要性指標を導入：VI_incl(j) は周辺的重要性（包含頻度）を、VI_co(j,ℓ) は共起的重要性（同時包含頻度）を表す。
• 線形回帰およびロジスティック回帰の両方の設定に適用し、分類タスクには交差エントロピー損失を用い、事後分布の計算には MCMC または変分ベイズ推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一の『最良』サブセットの代わりに、近的最適サブセットの集合を特定することで、ベイジアンフレームワークがサブセット選択の安定性を向上させられるか？
• RQ2 マージナル事後包含確率ではなく、複数の高精度サブセットにおける包含頻度を反映するように、変数重要性を再定義できるか？
• RQ3 提案手法は、頻度的およびベイジアンの代替手法と比較して、予測精度、信頼区間推定、および変数選択の安定性を向上させているか？
• RQ4 許容サブセットは、教育成果など、高次元かつ相関の強いデータにおいて、安定的かつ解釈可能な関係をどの程度明らかにできるか？
• RQ5 新しい変数重要性指標は、実世界のデータセットにおいて、キーストーン予測変数を特定する伝統的手法と比較して、どのように異なるか？

主な発見

• 相関の強い共変量を有する大規模な教育データセットにおいて、本手法は実際のRashomon効果を示す200以上もの異なる近的最適サブセットを同定した。
• 予測と分類の両方において、最小の許容サブセット 𝒮_small は、1つのシナリオを除き、頻度的lassoおよび適応的lassoを含むすべての代替手法を上回った。
• 予測のための許容家族 𝒜0,0.1 には1,183のサブセットが含まれ、危険な学生の分類では1,547のサブセットに拡大し、分類タスクではより広範なモデル同等性が示された。
• 変数重要性指標 VI_incl(j) は、予測と分類の両設定において、同じキーストーン共変量（例：PM2.5への曝露、地域の劣位）を同定し、解釈性を向上させた。
• 分類用の最小サブセット（|𝒮_small| = 16）は予測用よりも小さく、このサイズの21のサブセットが近的最適な性能を達成しており、分類タスクにおける柔軟性が高まっていることが示された。
• 適応的lassoの代替手法は、本手法が同定した重要な共変量を含まず、点推定と信用区間の間に一貫性の欠如を示しており、本手法の耐性の高さが浮き彫りになった。