[论文解读] Asymptotic Theory for Random Forests

Stefan Wager|arXiv (Cornell University)|May 2, 2014

Soil Geostatistics and Mapping参考文献 22被引用 33

一句话总结

该论文在子采样条件下建立了随机森林预测的渐近正态性，当子样本大小满足 $ s(n)/n = o(\log(n)^{-d}) $ 时，且证明了微小自助法（infinitesimal jackknife）可一致估计渐近方差。这些结果使得对随机森林预测进行正式的统计推断（如置信区间）成为可能。

ABSTRACT

Random forests have proven to be reliable predictive algorithms in many application areas. Not much is known, however, about the statistical properties of random forests. Several authors have established conditions under which their predictions are consistent, but these results do not provide practical estimates of random forest errors. In this paper, we analyze a random forest model based on subsampling, and show that random forest predictions are asymptotically normal provided that the subsample size s scales as s(n)/n = o(log(n)^{-d}), where n is the number of training examples and d is the number of features. Moreover, we show that the asymptotic variance can consistently be estimated using an infinitesimal jackknife for bagged ensembles recently proposed by Efron (2014). In other words, our results let us both characterize and estimate the error-distribution of random forest predictions, thus taking a step towards making random forests tools for statistical inference instead of just black-box predictive algorithms.

研究动机与目标

• 发展随机森林的严格渐近理论，使其不仅用于预测准确度，还能支持统计推断。
• 解决关于随机森林预测抽样分布和方差的理论理解不足的问题。
• 证明在较弱的子样本大小条件下，随机森林预测是渐近正态的。
• 证明微小自助法可一致估计随机森林预测的渐近方差。
• 为在推断任务（如构造置信区间和假设检验）中使用随机森林奠定基础。

提出的方法

• 基于子采样而非重抽样（bootstrapping）分析随机森林，以确保理论可处理性。
• 在条件 $ s(n)/n = o(\log(n)^{-d}) $ 下推导预测的渐近正态性，其中 $ d $ 为特征维度。
• 应用由 Efron（2014）最近提出的适用于聚合集成模型的微小自助法估计器，以估计渐近方差。
• 利用理论框架证明，在给定的子样本大小条件下，微小自助法的方差估计具有一致性。
• 通过在具有不同分布（余弦分布、XOR、AND）的合成数据和真实世界UCI数据集上的模拟实验验证方法。
• 采用两步估计程序：首先计算微小自助法方差估计 $ \widehat{V}_{IJ} $，然后通过偏差、方差和MSE指标评估其准确性。

实验结果

研究问题

• RQ1 在何种条件下，随机森林预测是渐近正态的？
• RQ2 能否从数据中一致估计随机森林预测的渐近方差？
• RQ3 子样本大小 $ s(n) $ 如何影响渐近正态性和方差估计的准确性？
• RQ4 微小自助法是否能提供随机森林预测抽样方差的可靠且一致的估计？
• RQ5 方差估计器在不同数据生成分布和样本大小下的表现如何？

主要发现

• 当子样本大小满足 $ s(n)/n = o(\log(n)^{-d}) $ 时，随机森林预测是渐近正态的，其中 $ d $ 为特征数量。
• 在相同的子样本大小条件下，微小自助法估计器可一致估计随机森林预测的渐近方差。
• 模拟结果表明，随着样本量 $ n $ 增大，微小自助法方差估计的准确性不断提高，余弦分布和XOR分布的相对MSE逐渐降低。
• 即使在小样本的真实世界数据集（如汽车、森林野火、住房数据集）上，方差估计器表现良好，大样本数据集的相对MSE值低于0.002。
• AND分布因具有更高维性且条件均值非Lipschitz，其误差衰减更慢，表明方差估计更具挑战性。
• 理论框架支持将随机森林不仅用作黑箱预测工具，还可用于具有有效置信区间和假设检验的统计推断。