[论文解读] Ensemble Trees and CLTs: Statistical Inference for Supervised Learning

Lucas Mentch, Giles Hooker|arXiv (Cornell University)|Apr 25, 2014

Machine Learning and Data Classification参考文献 22被引用 22

一句话总结

本文通过子抽样将预测建模为U-统计量，提出了一种用于集成树方法的正式统计推断框架，实现了渐近正态预测和置信区间。该方法进一步支持特征重要性检验和方差估计，且无需额外计算成本，为自助聚合（bagging）和随机森林方法扩展了严格的推断能力。

ABSTRACT

This work develops formal statistical inference procedures for machine learning ensemble methods. Ensemble methods based on bootstrapping, such as bagging and random forests, have improved the predictive accuracy of individual trees, but fail to provide a framework in which distributional results can be easily determined. Instead of aggregating full bootstrap samples, we consider predicting by averaging over trees built on subsamples of the training set and demonstrate that the resulting estimator takes the form of a U-statistic. As such, predictions for individual feature vectors are asymptotically normal, allowing for confidence intervals to accompany predictions. In practice, a subset of subsamples is used for computational speed; here our estimators take the form of incomplete U-statistics and equivalent results are derived. We further demonstrate that this setup provides a framework for testing the significance of features. Moreover, the internal estimation method we develop allows us to estimate the variance parameters and perform these inference procedures at no additional computational cost. Simulations and illustrations on a real dataset are provided.

研究动机与目标

• 为类似自助聚合（bagging）和随机森林的集成树方法开发一个正式的统计推断框架。
• 解决现有集成方法依赖完整自助样本时缺乏分布结果的问题。
• 通过子抽样实现对预测和特征重要性的置信区间与假设检验。
• 推导仅使用部分子样本时不完全部分U-统计量的等价推断结果，以提高计算效率。
• 在内部估计方差参数，且无需额外计算开销。

提出的方法

• 通过在训练数据的随机子样本上训练树并取平均，将集成预测建模为U-统计量，而非使用完整自助样本。
• 在较弱的正则性条件下，建立预测的渐近正态性，从而支持置信区间的构造。
• 推导仅使用部分子样本时不完全部分U-统计量的等价渐近结果，保持统计有效性。
• 利用U-统计量的结构，内部估计推断所需的方差参数，避免额外计算。
• 通过评估每个特征对基于U-统计量的预测的贡献，将该框架应用于测试单个特征的重要性。
• 利用经验影响函数和霍夫丁分解，推导渐近分布和方差估计。

实验结果

研究问题

• RQ1 基于子抽样的集成树预测是否可被正式视为U-统计量，以支持统计推断？
• RQ2 子抽样集成预测的渐近性质是什么？其是否仍保持正态分布？
• RQ3 能否使用该框架为单个预测可靠地构造置信区间？
• RQ4 是否可以使用这种基于U-统计量的方法测试集成树中特征的显著性？
• RQ5 能否在无额外计算成本的情况下内部估计方差参数？

主要发现

• 基于子样本构建的集成树预测渐近正态，支持有效置信区间的构造。
• 该框架通过评估特征对U-统计量的贡献，支持对特征重要性的正式假设检验。
• 推断所需的方差参数可在内部估计，且无需额外计算成本。
• 不完全部分U-统计量的理论结果确保了当仅使用部分子样本以提高效率时，该框架依然有效。
• 模拟和真实数据示例均证实了置信区间和推断程序的实证有效性。