[论文解读] Arbres CART et Forêts aléatoires, Importance et sélection de variables

Robin Genuer, Jean‐Michel Poggi|arXiv (Cornell University)|Oct 26, 2016

Data Mining Algorithms and Applications被引用 7

一句话总结

本文全面综述了CART树与随机森林，详细阐述了其理论基础、实际实现及其在变量选择与大数据中的应用。文中提出基于排列的变量重要性方法，作为特征选择的稳健手段，兼具理论保证与跨多种数据集的实证验证。

ABSTRACT

Two algorithms proposed by Leo Breiman : CART trees (Classification And Regression Trees for) introduced in the first half of the 80s and random forests emerged, meanwhile, in the early 2000s, are the subject of this article. The goal is to provide each of the topics, a presentation, a theoretical guarantee, an example and some variants and extensions. After a preamble, introduction recalls objectives of classification and regression problems before retracing some predecessors of the Random Forests. Then, a section is devoted to CART trees then random forests are presented. Then, a variable selection procedure based on permutation variable importance is proposed. Finally the adaptation of random forests to the Big Data context is sketched.

研究动机与目标

• 将CART与随机森林作为统计学习中的基础工具进行呈现，强调其理论严谨性与实际应用价值。
• 基于随机森林中的排列度量，建立变量重要性与选择的系统性框架。
• 探索随机森林在高维与大规模数据（大数据）环境下的扩展应用。
• 为每种方法提供理论保证与实际案例，提升可解释性与可靠性。
• 弥合经典统计学习与基因组学、生态学及环境科学等现代应用之间的鸿沟。

提出的方法

• 通过递归划分构建CART树，使用基尼不纯度或方差不纯度准则分割节点。
• 应用代价-复杂度剪枝以控制过拟合，提升泛化能力。
• 采用自助聚合（bagging）结合多个CART树，降低方差并增强稳定性。
• 通过在每次分裂时引入随机特征子采样，提出随机森林，进一步提升鲁棒性与准确性。
• 使用袋外（OOB）误差估计进行无偏性能评估，无需独立验证集。
• 提出基于排列的变量重要性度量：随机打乱某一预测变量的取值，并测量预测准确率的下降程度。

实验结果

研究问题

• RQ1 在预测准确性、稳定性与可解释性方面，CART树与随机森林如何比较？
• RQ2 在随机森林中使用基于排列的变量重要性方法的理论依据是什么？
• RQ3 如何将随机森林适配于高维与大规模（大数据）应用场景？
• RQ4 哪些关键机制使随机森林比单棵决策树或其他集成方法更具鲁棒性？
• RQ5 随机森林中的变量重要性度量在复杂数据集中如何支持有效的特征选择？

主要发现

• 在基准评估中，随机森林在多个研究中持续优于单棵CART树及其他集成方法，通常位列前2–3名算法。
• 基于排列的变量重要性提供了可靠、非参数化的预测变量相关性度量，近期研究（如Scornet等，2015）已建立其理论一致性。
• 袋外误差率可作为泛化误差的准确内部估计，无需交叉验证即可完成模型评估。
• 随机森林对异常值与高维数据具有鲁棒性，即使在预测变量存在相关性或缺失值时，性能仍能保持稳定。
• 诸如在线随机森林与BLB（小自助法集合）等扩展方法，可在大数据环境下实现可扩展的推理，同时保持统计有效性。
• 变量重要性的理论保证及随机森林的一致性，已通过严格的渐近分析得到支持，证实其在高维设置下的可靠性。