[论文解读] Bayesian subset selection and variable importance for interpretable prediction and classification

Daniel R. Kowal|arXiv (Cornell University)|Apr 20, 2021

Statistical Methods and Inference参考文献 6被引用 6

一句话总结

该论文提出了一种贝叶斯框架用于子集选择与变量重要性分析，通过用一族近似最优的子集替代对单一‘最佳’子集的不稳定搜索，实现了稳健、可解释的预测与分类。通过将贝叶斯决策分析与预测损失相结合，该方法提供了正则化、不确定性量化以及新的变量重要性度量，相较于频率学派与贝叶斯竞争对手，在具有相关协变量的模拟数据与真实教育数据中表现更优。

ABSTRACT

Subset selection is a valuable tool for interpretable learning, scientific discovery, and data compression. However, classical subset selection is often avoided due to selection instability, lack of regularization, and difficulties with post-selection inference. We address these challenges from a Bayesian perspective. Given any Bayesian predictive model $\\mathcal{M}$, we extract a family of near-optimal subsets of variables for linear prediction or classification. This strategy deemphasizes the role of a single "best" subset and instead advances the broader perspective that often many subsets are highly competitive. The acceptable family of subsets offers a new pathway for model interpretation and is neatly summarized by key members such as the smallest acceptable subset, along with new (co-) variable importance metrics based on whether variables (co-) appear in all, some, or no acceptable subsets. More broadly, we apply Bayesian decision analysis to derive the optimal linear coefficients for any subset of variables. These coefficients inherit both regularization and predictive uncertainty quantification via $\\mathcal{M}$. For both simulated and real data, the proposed approach exhibits better prediction, interval estimation, and variable selection than competing Bayesian and frequentist selection methods. These tools are applied to a large education dataset with highly correlated covariates. Our analysis provides unique insights into the combination of environmental, socioeconomic, and demographic factors that predict educational outcomes, and identifies over 200 distinct subsets of variables that offer near-optimal out-of-sample predictive accuracy.

研究动机与目标

• 解决经典子集选择在高维数据中因不稳定、缺乏正则化及事后推断挑战而带来的问题。
• 以一族近似最优的子集替代对单一‘最佳’子集的搜索，提升模型的可解释性与鲁棒性。
• 基于可接受子集中的包含频率，开发新的贝叶斯变量重要性度量，以增强对协变量效应的科学洞察。
• 统一预测建模与基于决策理论的子集选择，通过单一预测模型实现正则化与不确定性量化。
• 在模拟与真实教育数据上，与频率学派及贝叶斯方法相比，证明该方法在预测、区间估计与变量选择方面表现更优。

提出的方法

• 将子集选择建模为贝叶斯决策问题，通过最小化给定模型 𝒟 下的期望预测损失，而非依赖点估计。
• 定义一个‘可接受子集族’𝒜，其预测性能接近最优，以相对于最优子集的预测损失阈值 Δ 作为容忍度。
• 利用完整贝叶斯模型 𝒟 的后验预测分布，计算样本外预测损失并识别可接受子集。
• 通过贝叶斯决策分析为每个子集推导最优线性系数，继承完整模型的正则化与不确定性量化特性。
• 提出新的变量重要性度量：VI_incl(j) 表示边际重要性（包含频率），VI_co(j,ℓ) 表示共现重要性（联合包含频率）。
• 将该方法应用于线性回归与逻辑回归，分类任务使用交叉熵损失，后验计算采用 MCMC 或变分推断。

实验结果

研究问题

• RQ1 能否通过识别一族近似最优子集而非单一‘最佳’子集，利用贝叶斯框架稳定子集选择？
• RQ2 如何重新定义变量重要性，使其反映在多个高性能子集中的包含频率，而非仅依赖边际后验包含概率？
• RQ3 与频率学派及贝叶斯竞争对手相比，所提方法是否在预测准确性、区间估计与变量选择稳定性方面表现更优？
• RQ4 在高维、高度相关的数据（如教育成果）中，可接受子集在多大程度上揭示了稳健且可解释的关系？
• RQ5 在现实世界数据集中，新提出的变量重要性度量与传统度量相比，在识别关键预测变量方面表现如何？

主要发现

• 在具有高度相关协变量的大规模教育数据集中，该方法识别出超过 200 个不同的近似最优子集，实际展现了 Rashomon 效应。
• 在除一个模拟情景外的所有场景中，最小可接受子集 𝒮_small 在预测与分类任务中均优于所有竞争方法，包括频率学派的 lasso 与自适应 lasso。
• 在预测任务中，可接受子集族 𝒜0,0.1 包含 1,183 个子集；在高风险学生分类任务中，扩展至 1,547 个子集，表明分类任务下模型等价性更广。
• 变量重要性度量 VI_incl(j) 在预测与分类设置中均识别出相同的“关键”协变量（如 PM2.5 暴露、社区贫困水平），增强了可解释性。
• 分类任务的最小子集（|𝒮_small| = 16）小于预测任务的最小子集，且有 21 个相同大小的子集达到近似最优性能，表明分类任务中具有更高的灵活性。
• 自适应 lasso 竞争方法未能包含本方法识别出的关键协变量，且其点估计与可信区间之间存在不一致，凸显了本方法的稳健性。