[论文解读] Asymptotic Distributions and Rates of Convergence for Random Forests and other Resampled Ensemble Learners.

Wei Peng, Tim Coleman+1 more|arXiv (Cornell University)|May 25, 2019

Neural Networks and Applications参考文献 21被引用 7

一句话总结

本文通过引入广义U-统计量，建立了随机森林及其他重采样集成学习器的收敛速率，证明了在较大子样本规模下渐近正态性，并提供了量化收敛速度的Berry-Esseen界，该速度取决于子样本大小和树的数量。

ABSTRACT

Random forests remain among the most popular off-the-shelf supervised learning algorithms. Despite their well-documented empirical success, however, until recently, few theoretical results were available to describe their performance and behavior. In this work we push beyond recent work on consistency and asymptotic normality by establishing rates of convergence for random forests and other supervised learning ensembles. We develop the notion of generalized U-statistics and show that within this framework, random forest predictions can potentially remain asymptotically normal for larger subsample sizes than previously established. We also provide Berry-Esseen bounds in order to quantify the rate at which this convergence occurs, making explicit the roles of the subsample size and the number of trees in determining the distribution of random forest predictions.

研究动机与目标

• 将随机森林的理论理解从一致性和渐近正态性扩展至更广泛领域。
• 量化随机森林预测收敛到正态性的速率。
• 确定在较大子样本规模下渐近正态性成立的条件。
• 为集成学习器提供明确的Berry-Esseen界，以衡量收敛速度。
• 形式化子样本大小和树的数量在预测分布行为中的作用。

提出的方法

• 引入广义U-统计量作为分析重采样集成学习器的框架。
• 应用U-统计量理论来建模随机森林的预测输出。
• 推导Berry-Esseen界以量化收敛到正态性的速率。
• 分析子样本大小和树的数量对收敛速度的联合影响。
• 建立在比以往已知更大的子样本规模下渐近正态性仍成立的条件。
• 使用理论概率工具来界定预测分布偏离正态性的程度。

实验结果

研究问题

• RQ1 在何种条件下，随机森林的预测分布在较大的子样本规模下仍保持渐近正态性？
• RQ2 随机森林的预测分布收敛到正态性的速度有多快？
• RQ3 收敛的显式速率是多少，子样本大小和树的数量如何影响该速率？
• RQ4 广义U-统计量能否用于建模和界定集成学习器预测的分布？
• RQ5 Berry-Esseen界如何量化随机森林中正态近似的准确性？

主要发现

• 与以往结果相比，随机森林预测在更大的子样本规模下仍保持渐近正态性。
• 通过Berry-Esseen界量化了收敛到正态性的速率。
• 收敛速率明确依赖于子样本大小和树的数量。
• 广义U-统计量为分析重采样集成学习器提供了理论框架。
• 该框架使得对集成预测分布行为的控制更加紧密。
• 结果形式化了模型设计选择与渐近分布特性之间的相互作用。