[论文解读] Analysis of a Random Forests Model

Gérard Biau|arXiv (Cornell University)|May 3, 2010

Neural Networks and Applications参考文献 36被引用 652

一句话总结

本文对利奥·布雷曼提出的随机森林模型进行了严格的理论分析，证明该方法具有一致性且能适应稀疏性——其收敛速度仅取决于相关（强）特征的数量，而不受输入变量总数（包括噪声特征）的影响。该分析为随机森林在高维设置下表现出的稳健性能提供了理论基础。

ABSTRACT

Random forests are a scheme proposed by Leo Breiman in the 2000's for building a predictor ensemble with a set of decision trees that grow in randomly selected subspaces of data. Despite growing interest and practical use, there has been little exploration of the statistical properties of random forests, and little is known about the mathematical forces driving the algorithm. In this paper, we offer an in-depth analysis of a random forests model suggested by Breiman in \\cite{Bre04}, which is very close to the original algorithm. We show in particular that the procedure is consistent and adapts to sparsity, in the sense that its rate of convergence depends only on the number of strong features and not on how many noise variables are present.

研究动机与目标

• 为一种广泛应用但理解不足的集成方法——随机森林，提供严格的理论基础。
• 分析布雷曼提出的一种具体模型变体，该变体能近似原算法。
• 建立模型收敛行为中的一致性和稀疏性适应性。
• 阐明驱动随机森林性能的数学机制，尤其是在存在大量无关特征的高维设置下。

提出的方法

• 研究分析了一种随机森林模型，其中每棵树通过随机子空间选择和自助聚合（bagging）生成。
• 每棵树通过在每个节点随机选择特征子集，并使用基于CART的分裂方法以最大化信息增益来构建。
• 最终预测为随机化树的集合的期望值，通过蒙特卡洛采样近似。
• 理论分析依赖于二项分布和超几何随机变量的浓度不等式与矩界。
• 关键工具包括柯西积分公式以及生成函数的界，以控制不同树之间特征重叠的概率。
• 分析利用对称性和矩不等式，推导出特征在树中被选择次数的尾部界。

实验结果

研究问题

• RQ1 布雷曼提出的随机森林模型是否一致，即随着样本量增加，其预测误差是否收敛至零？
• RQ2 随机森林的收敛速度是否仅取决于强特征（相关特征）的数量，还是受噪声变量存在而降低？
• RQ3 在存在大量无关特征的高维设置下，随机森林稳健性的数学机制是什么？
• RQ4 随机子空间选择与自助聚合机制如何协同作用以实现一致性和稀疏性适应？
• RQ5 能否为特征在多棵树中被选中的概率推导出理论界？这又如何影响预测精度？

主要发现

• 该随机森林模型具有一致性：预测的均方误差随着样本量增加而收敛至零。
• 收敛速度仅取决于强特征的数量，而不受输入变量总数的影响，证明了其稀疏性适应性。
• 给定特征在单棵树中被选中的概率受到限制，且通过二项分布和超几何变量的矩界控制了树之间的重叠。
• 特征在树中被选择的期望次数随深度呈指数衰减，从而确保了集成的多样性。
• 特征选择频率的尾部行为的理论界表明，噪声特征在聚合过程中被有效过滤。
• 分析确认，随机森林在稀疏高维模型中能达到最优收敛速率，与Oracle估计器的理论性能相当。