[论文解读] Asymptotic Properties of High-Dimensional Random Forests

Chien-Ming Chi, Patrick Vossler+2 more|arXiv (Cornell University)|Apr 29, 2020

Statistical Methods and Inference参考文献 32被引用 8

一句话总结

该论文首次建立了使用CART分裂准则和列子采样的原始随机森林算法在高维非参数回归中的的一致性速率。通过引入充分不纯度减少（SID）条件并分析偏差-方差权衡，证明了当特征维度随样本量最多以多项式方式增长时，即使在回归函数不连续且树未完全生长的情况下，随机森林仍能达到多项式速率的一致性。

ABSTRACT

As a flexible nonparametric learning tool, the random forests algorithm has been widely applied to various real applications with appealing empirical performance, even in the presence of high-dimensional feature space. Unveiling the underlying mechanisms has led to some important recent theoretical results on the consistency of the random forests algorithm and its variants. However, to our knowledge, almost all existing works concerning random forests consistency in high dimensional setting were established for various modified random forests models where the splitting rules are independent of the response; a few exceptions assume simple data generating models with binary features. In light of this, in this paper we derive the consistency rates for the random forests algorithm associated with the sample CART splitting criterion, which is the one used in the original version of the algorithm, in a general high-dimensional nonparametric regression setting through a bias-variance decomposition analysis. Our new theoretical results show that random forests can indeed adapt to high dimensionality and allow for discontinuous regression function. Our bias analysis characterizes explicitly how the random forests bias depends on the sample size, tree height, and column subsampling parameter. Some limitations on our current results are also discussed.

研究动机与目标

• 在特征维度随样本量增长的高维设置下，建立原始随机森林算法的理论一致性速率。
• 通过偏差-方差分解框架分析预测误差的偏差和方差分量。
• 刻画模型复杂度参数——树高和列子采样——对收敛速率的影响。
• 引入并证明充分不纯度减少（SID）条件作为实现高维一致性的关键假设。
• 将随机森林的理论理解从响应无关分裂规则的简化模型扩展至更一般的情形。

提出的方法

• 提出预测损失的偏差-方差分解，以分别分析近似误差（偏差）和估计方差。
• 引入充分不纯度减少（SID）条件，确保特征空间中的每个单元都能通过分裂实现足够程度的偏差减少。
• 通过近似误差的显式上界，分析偏差对样本量、树高和列子采样参数的依赖关系。
• 使用基于单元的方差分解和条件概率论证，以不纯度减少为依据，界定估计方差的上界。
• 应用伯努利不等式和几何概率论证，在特征坐标中跳跃点的不同配置下，细化方差上界。
• 通过子单元结构和分裂概率，推导出给定单元下回归函数条件方差的统一上界。

实验结果

研究问题

• RQ1 使用CART分裂和列子采样的原始随机森林算法能否在高维非参数回归中实现一致性？
• RQ2 在高维情形下，随机森林的偏差如何依赖于样本量、树高和列子采样？
• RQ3 为确保多项式收敛速率，对回归函数和特征分布需要满足哪些条件？
• RQ4 在高维设置下，当树未完全生长时，随机森林估计器的方差行为如何？
• RQ5 充分不纯度减少（SID）条件在实现理论一致性中起什么作用？

主要发现

• 在SID条件下，当特征维度随样本量最多以多项式方式增长时，随机森林估计器能达到多项式速率的一致性。
• 随机森林的偏差随样本量和树高的增加而减小，且更大的列子采样可进一步降低偏差，从而提高近似精度。
• 估计器的方差有界，且依赖于分裂带来的不纯度减少，当分裂以高概率有效分割单元时，方差控制更紧密。
• SID条件确保了每次分裂都能实现足够的偏差减少，从而即使在回归函数不连续的情况下，也能推导出收敛速率。
• 分析表明，随机森林可通过树深度、子采样和数据结构的相互作用，自适应地控制高维环境下的偏差与方差。
• 本研究的理论结果首次在具有标准CART分裂规则的一般高维非参数设置下，建立了原始随机森林算法的一致性速率。