[论文解读] Complete Analysis of a Random Forest Model

Jason M. Klusowski|arXiv (Cornell University)|May 7, 2018

Statistical Methods and Inference参考文献 5被引用 15

一句话总结

本文对一种随机森林模型进行了完整的理论分析，该模型以均匀随机方式选择特征，并在特征范围的中点进行分割。研究建立了均方预测误差的速率，其阶为 $(n\sqrt{S-1} \sqrt{\log n})^{-1/(S\log 2 + 1)}$，当 $S \leq \lfloor 0.72d \rfloor$ 时，该速率优于稀疏回归的极小极大速率，并表明方差的衰减速率与环境维度无关，即使在完全生长的树中也是如此。

ABSTRACT

Random forests have become an important tool for improving accuracy in regression problems since their popularization by (Breiman, 2001) and others. In this paper, we revisit a random forest model originally proposed by (Breiman, 2004) and later studied by (Biau, 2012), where a feature is selected at random and the split occurs at the midpoint of the block containing the chosen feature. If the regression function is sparse and depends only on a small, unknown subset of $ S $ out of $ d $ features, we show that given $ n $ observations, this random forest model outputs a predictor that has a mean-squared prediction error of order $ \left(n\sqrt{\log^{S-1} n} ight)^{-\frac{1}{S\log2+1}} $. When $ S \leq \lfloor 0.72 d floor $, this rate is better than the minimax optimal rate $ n^{-\frac{2}{d+2}} $ for $ d $-dimensional, Lipschitz function classes. As a consequence of our analysis, we show that the variance of the forest decays with the depth of the tree at a rate that is independent of the ambient dimension, even when the trees are fully grown. In particular, if $ \ell_{avg} $ (resp. $ \ell_{max} $) is the average (resp. maximum) number of observations per leaf node, we show that the variance of this forest is $ \Theta\left(\ell^{-1}_{avg}(\sqrt{\log n})^{-(S-1)} ight) $, which for the case of $ S = d $, is similar in form to the lower bound $ \Omega\left(\ell^{-1}_{max}(\log n)^{-(d-1)} ight) $ of (Lin and Jeon, 2006) for any random forest model with a nonadaptive splitting scheme. We also show that the bias is tight for any linear model with nonzero parameter vector. Thus, we completely characterize the fundamental limits of this random forest model. Our new analysis also implies that better theoretical performance can be achieved if the trees are grown less aggressively (i.e., grown to a shallower depth) than previous work would otherwise recommend.

研究动机与目标

• 理解一种特定随机森林模型在随机特征选择与中点分割下的理论性能极限。
• 分析该模型在高维设置下，预测误差随样本量 $n$ 和稀疏度 $S$ 的变化规律。
• 表征森林的方差与偏差行为，尤其关注树深度与环境维度 $d$ 的关系。
• 确定是否较不激进的树生长方式（树更深）可能比标准做法具有更好的理论性能。

提出的方法

• 分析聚焦于一种随机森林模型，其中每次分割均以均匀随机方式选择特征，并在该特征观测范围的中点进行分割。
• 该模型假设真实回归函数仅依赖于 $d$ 个特征中的 $S$ 个，且 $S$ 未知，可能较小。
• 通过分析偏差与方差两部分，推导出均方预测误差，证明对于具有非零系数的线性模型，偏差是紧致的。
• 通过推导方差衰减速率作为平均叶大小 $\ell_{\text{avg}}$ 与最大叶大小 $\ell_{\text{max}}$ 的函数，表明其为 $\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$。
• 将推导出的误差速率与 $d$ 维空间中利普希茨函数的极小极大最优速率 $n^{-2/(d+2)}$ 进行比较。
• 利用集中不等式与递归划分论证，对非自适应分割方案下的偏差与方差进行有界分析。

实验结果

研究问题

• RQ1 在稀疏回归条件下，该随机森林模型的均方预测误差的精确速率是什么？
• RQ2 森林的方差如何随树深度衰减？其是否依赖于环境维度 $d$？
• RQ3 该模型能否在 $d$ 维利普希茨函数下实现快于极小极大速率 $n^{-2/(d+2)}$ 的误差速率？
• RQ4 模型性能如何依赖于真实回归函数的稀疏度 $S$？
• RQ5 是否存在理论优势使得树的生长深度小于通常推荐的深度？

主要发现

• 该随机森林模型的均方预测误差阶为 $(n\sqrt{\log^{S-1} n})^{-1/(S\log 2 + 1)}$，当 $S \leq \lfloor 0.72d \rfloor$ 时，其优于极小极大速率 $n^{-2/(d+2)}$。
• 森林的方差衰减速率为 $\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$，与环境维度 $d$ 无关，即使在完全生长的树中亦成立。
• 当 $S = d$ 时，方差速率与 Lin 和 Jeon（2006）给出的下界 $\Omega(\ell^{-1}_{\text{max}}(\log n)^{-(d-1)})$ 一致，表明其紧致性。
• 对于任意具有非零参数向量的线性模型，偏差被证明是紧致的，证实了该模型能够适应低维结构。
• 分析表明，相较于标准做法，生长更浅的树可能带来更好的理论性能，挑战了传统认知。
• 在稀疏设定下，该模型实现了更快的收敛速度，表明即使在高环境维度下，随机森林也能适应内在的低维结构。