[论文解读] Sharp Analysis of a Simple Model for Random Forests

Jason M. Klusowski|arXiv (Cornell University)|May 7, 2018

Data Mining Algorithms and Applications参考文献 25被引用 9

一句话总结

本文对一种中心化随机森林模型提供了精确的非渐近分析，其中分裂点位于随机选择特征的中点。对于仅依赖于 $ d $ 个特征中 $ S $ 个特征的利普希茨回归函数，建立了预测误差率为 $ O((n(\text{log} n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $，该结果在对数因子范围内达到极小极大最优率，从而解决了 Biau 提出的一个开放问题。

ABSTRACT

Random forests have become an important tool for improving accuracy in regression and classification problems since their inception by Leo Breiman in 2001. In this paper, we revisit a historically important random forest model originally proposed by Breiman in 2004 and later studied by Gérard Biau in 2012, where a feature is selected at random and the splits occurs at the midpoint of the node along the chosen feature. If the regression function is Lipschitz and depends only on a small subset of $ S $ out of $ d $ features, we show that, given access to $ n $ observations and properly tuned split probabilities, the mean-squared prediction error is $ O((n(\log n)^{(S-1)/2})^{-\frac{1}{S\log2+1}}) $. This positively answers an outstanding question of Biau about whether the rate of convergence for this random forest model could be improved. Furthermore, by a refined analysis of the approximation and estimation errors for linear models, we show that this rate cannot be improved in general. Finally, we generalize our analysis and improve extant prediction error bounds for another random forest model in which each tree is constructed from subsampled data and the splits are performed at the empirical median along a chosen feature.

研究动机与目标

• 为 Biau（2012）提出的关于简单随机森林模型收敛速率是否可改进的开放问题提供解答。
• 提供一个非渐近的预测误差界，明确展示其对样本量 $ n $、维度 $ d $ 和稀疏性 $ S $ 的依赖关系。
• 在随机森林的背景下，建立线性模型近似误差与估计误差的紧致界。
• 将分析推广至第二种使用子采样数据和基于中位数分裂的随机森林模型。
• 证明所推导的速率在一般情况下无法进一步改进，从而确立该模型的根本极限。

提出的方法

• 分析一种中心化随机森林模型，其中每棵树独立生成，通过随机选择特征并在选定特征上使用中点分裂。
• 采用非渐近框架，通过将均方预测误差分解为近似误差与估计误差，来界定其上界。
• 利用斯特林公式对多项分布尾部概率进行精细化分析，以控制独立树之间分歧的概率。
• 推导出两个独立多项分布向量之间 $ \ell^1 $-距离的指数期望的精确上界。
• 在分裂概率满足弱条件时，建立该量的下界，以证明上界的紧致性。
• 将分析推广至子采样版本的模型，其中分裂点基于选定特征的样本中位数确定。

实验结果

研究问题

• RQ1 中心化随机森林模型的预测误差率是否可以超越此前已知的 $ O(n^{-1/(S\log 2 + 1)}) $ 速率？
• RQ2 所推导的速率 $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $ 在极小极大意义下是否对该模型最优？
• RQ3 在此随机森林框架中，近似误差与估计误差之间的根本权衡是什么？
• RQ4 该模型在高维稀疏设定下是否对利普希茨回归函数实现了极小极大最优速率？
• RQ5 该分析能否推广至更现实的变体，例如使用子采样数据和基于样本中位数分裂的模型？

主要发现

• 本文在利普希茨且稀疏的回归函数条件下，为中心化随机森林模型建立了非渐近预测误差率 $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $。
• 该速率在对数因子范围内与极小极大最优率一致，从而解决了 Biau 关于该速率是否可改进的开放问题。
• 分析表明，该模型的近似误差为 $ O(k_n^{-1/(S\log 2 + 1)}) $，其中 $ k_n $ 为叶节点数量，且该界在一般情况下无法改进。
• 对于子采样中位数分裂的随机森林模型，本文通过精细化分析节点大小与分裂概率控制，改进了现有预测误差界。
• 对独立多项分布向量之间 $ \ell^1 $-距离的指数期望的上下界分析，证实了该分析的紧致性。
• 结果表明，即使在简单随机森林模型中，通过适当的调参，也能实现最优速率，凸显了在高维稀疏设定下分裂概率设计的重要性。