[论文解读] A Machine Learning Alternative to P-values

Min Lü, Hemant Ishwaran|arXiv (Cornell University)|Jan 18, 2017

Statistical Methods and Inference参考文献 7被引用 3

一句话总结

本文提出基于袋外（OOB）预测误差的变量重要性（VIMP），作为回归模型中p值的稳健替代方法。通过测量当变量被‘加噪’时模型预测性能的下降程度，VIMP提供了一种科学上可解释的、与模型无关的效应量，即使在模型误设情况下依然有效，相较于p值在可靠性和可解释性方面对参数与非参数模型均表现更优。

ABSTRACT

This paper presents an alternative approach to p-values in regression settings. This approach, whose origins can be traced to machine learning, is based on the leave-one-out bootstrap for prediction error. In machine learning this is called the out-of-bag (OOB) error. To obtain the OOB error for a model, one draws a bootstrap sample and fits the model to the in-sample data. The out-of-sample prediction error for the model is obtained by calculating the prediction error for the model using the out-of-sample data. Repeating and averaging yields the OOB error, which represents a robust cross-validated estimate of the accuracy of the underlying model. By a simple modification to the bootstrap data involving "noising up" a variable, the OOB method yields a variable importance (VIMP) index, which directly measures how much a specific variable contributes to the prediction precision of a model. VIMP provides a scientifically interpretable measure of the effect size of a variable, we call the "predictive effect size", that holds whether the researcher's model is correct or not, unlike the p-value whose calculation is based on the assumed correctness of the model. We also discuss a marginal VIMP index, also easily calculated, which measures the marginal effect of a variable, or what we call "the discovery effect". The OOB procedure can be applied to both parametric and nonparametric regression models and requires only that the researcher can repeatedly fit their model to bootstrap and modified bootstrap data. We illustrate this approach on a survival data set involving patients with systolic heart failure and to a simulated survival data set where the model is incorrectly specified to illustrate its robustness to model misspecification.

研究动机与目标

• 为解决p值在回归分析中被广泛误用及其局限性，尤其是其对模型假设正确性的依赖。
• 提供一种对模型误设具有鲁棒性的、科学上可解释的效应量度量。
• 利用自举重采样中的袋外误差，以预测重要性替代统计显著性。
• 引入两种类型的变量重要性：用于预测效应量的VIMP，以及用于发现效应量的边际VIMP。
• 通过真实和模拟的生存数据，展示该方法在模型正确与错误设定下的稳健性与实用性。

提出的方法

• 使用自举重采样中的袋外（OOB）误差作为模型预测误差的交叉验证估计。
• 通过在自举样本中将变量的系数设为零，对变量执行‘加噪’操作，以评估其对预测误差的贡献。
• 将VIMP计算为当变量被加噪时OOB预测误差的平均增加量，从而量化其预测重要性。
• 将该方法扩展至边际VIMP，用于衡量向模型中增加一个变量所带来的预测增益。
• 将OOB过程应用于参数模型（如Cox回归）和非参数模型（如随机生存森林）。
• 使用B样条函数建模非线性效应，并计算变量组的簇-VIMP（cluster-VIMP），例如单个预测变量的多个样条项。

实验结果

研究问题

• RQ1 基于预测误差的变量重要性度量能否作为回归设定中p值的可靠替代？
• RQ2 在模型误设情况下（此时p值无效），所提出的VIMP指数表现如何？
• RQ3 VIMP能否提供一种与模型正确性无关、科学上可解释的效应量？
• RQ4 边际VIMP与传统的似然比检验相比，在识别新预测变量方面表现如何？
• RQ5 VIMP能否有效应用于参数与非参数模型，包括具有复杂非线性关系的模型？

主要发现

• VIMP指数提供了一种稳健且可解释的预测效应量度量，在模型假设被违反时依然有效。
• 在模型设定错误的模拟生存数据中，VIMP正确识别出肿瘤体积具有高度预测性，而p值因模型拟合不佳而未能反映此结果。
• 在肿瘤体积的非线性效应上应用B样条后，OOB模型误差从43%降至40%，肿瘤体积的VIMP增至2.27，表明其预测相关性得到改善。
• PSA的边际VIMP为4.20，肿瘤体积的边际VIMP为2.27，两者在不同数据集中具有可比性，表明基于 concordance index 的标准化有效。
• 该方法成功识别出肿瘤体积与生存率之间存在非线性关系，而线性模型未能捕捉此关系，但基于B样条的VIMP成功识别出该关系。
• 簇-VIMP使对变量组效应的评估成为可能，例如单个变量的多个B样条项的综合预测重要性，从而增强了结果的可解释性。