[论文解读] Confidence Intervals for Random Forests: The Jackknife and the Infinitesimal Jackknife

Stefan Wager, Trevor Hastie+1 more|arXiv (Cornell University)|Nov 18, 2013

Statistical Methods and Inference参考文献 24被引用 301

一句话总结

该论文提出了用于随机森林和袋装学习器中方差估计的改进自助法（jackknife）与影响函数自助法（infinitesimal jackknife, IJ）估计器，将所需自助重复次数从 $\Theta(n^{1.5})$ 降低至 $\Theta(n)$，其中 IJ 估计器在达到相同精度时所需重复次数仅为自助法的 1.7 倍。该研究引入了偏差校正版本以减轻蒙特卡洛噪声的影响，并通过标准误估计提供置信区间。

ABSTRACT

We study the variability of predictions made by bagged learners and random forests, and show how to estimate standard errors for these methods. Our work builds on variance estimates for bagging proposed by Efron (1992, 2012) that are based on the jackknife and the infinitesimal jackknife (IJ). In practice, bagged predictors are computed using a finite number B of bootstrap replicates, and working with a large B can be computationally expensive. Direct applications of jackknife and IJ estimators to bagging require B on the order of n^{1.5} bootstrap replicates to converge, where n is the size of the training set. We propose improved versions that only require B on the order of n replicates. Moreover, we show that the IJ estimator requires 1.7 times less bootstrap replicates than the jackknife to achieve a given accuracy. Finally, we study the sampling distributions of the jackknife and IJ variance estimates themselves. We illustrate our findings with multiple experiments and simulation studies.

研究动机与目标

• 解决使用标准自助法与 IJ 方法进行袋装学习器和随机森林方差估计时计算成本过高的问题。
• 将方差估计器收敛所需的自助重复次数从 $\Theta(n^{1.5})$ 降低至 $\Theta(n)$。
• 校正因自助重复次数有限而引起的蒙特卡洛偏差，该偏差会放大方差估计。
• 在有限样本设置下，比较自助法与 IJ 估计器的效率与抽样偏差。
• 利用已有的自助重复样本，为随机森林预测提供可靠的置信区间。

提出的方法

• 开发自助法与影响函数自助法（IJ）估计器的偏差校正版本，以减少方差估计中的蒙特卡洛偏差。
• 提出一种新估计器，通过平均自助法与 IJ 的方差估计值，实现接近无偏的性能。
• 利用影响函数对自助重复样本进行分析，更高效地估计方差。
• 应用自助法后标准误框架，从已有自助重复样本中估计标准误，无需额外计算。
• 提出一种方法，用于估计 IJ 估计器自身抽样方差，以评估其可靠性。
• 通过在多个数据集（包括汽车燃油效率、胆固醇、垃圾邮件和加州住房）上的模拟研究验证理论结果。

实验结果

研究问题

• RQ1 能否使随机森林方差的自助法与 IJ 估计器更高效，从而减少所需的自助重复次数？
• RQ2 蒙特卡洛噪声如何影响自助法与 IJ 方差估计的准确性？是否可进行校正？
• RQ3 在所需自助重复次数方面，IJ 估计器相比自助法的相对效率如何？
• RQ4 能否通过平均或校正方法减少自助法与 IJ 估计器的抽样偏差？
• RQ5 所提出的方差估计在转化为随机森林预测的准确置信区间方面表现如何？

主要发现

• 所提出的偏差校正自助法与 IJ 估计器在 $B = \Theta(n)$ 个自助重复次数下即可收敛，将计算成本从 $\Theta(n^{1.5})$ 显著降低。
• 在达到相同方差估计精度时，IJ 估计器所需的自助重复次数仅为自助法的 1.7 倍。
• 自助法与 IJ 方差估计值的算术平均近似无偏，有效缓解了单一估计器中固有的向上与向下偏差。
• 蒙特卡洛偏差是标准自助法与 IJ 估计器中主要的误差来源，所提出的偏差校正方法显著提升了估计准确性。
• 该方法能生成可靠的随机森林预测置信区间，如在汽车燃油效率数据集上的结果所示，误差棒能反映预测不确定性，并与预测误差呈显著相关。
• 在合成数据集与真实数据集（如前列腺癌、垃圾邮件、加州住房）上的模拟研究结果证实，所提出估计器在多种场景下均表现出稳健性与高准确性。