[论文解读] Consistency of Online Random Forests

Misha Denil, David S. Matheson+1 more|arXiv (Cornell University)|Feb 20, 2013

Data Stream Mining Techniques参考文献 27被引用 37

一句话总结

该论文首次为在线随机森林建立了的一致性结果，证明在温和正则性条件下，该算法渐近收敛于真实条件均值。通过使用固定大小的边缘数据结构以及基于估计不纯度和预测误差的在线分裂规则，该方法确保所有相关区域最终都会被探索并分裂，从而在流式数据约束下实现一致性。

ABSTRACT

As a testament to their success, the theory of random forests has long been outpaced by their application in practice. In this paper, we take a step towards narrowing this gap by providing a consistency result for online random forests.

研究动机与目标

• 通过为在线学习变体建立一致性，弥合随机森林的理论与实践之间的差距。
• 开发一种理论基础坚实的在线随机森林算法，使其在流式数据下仍能保持预测准确性。
• 证明随着训练数据的积累，该算法的预测结果会收敛到真实的回归函数。
• 即使树的生长受固定大小的边缘数据结构限制，也能确保一致性。

提出的方法

• 使用固定大小的边缘数据结构存储尚未用于树生长的非活跃数据点。
• 应用基于估计不纯度减少和预测误差的在线分裂规则来选择分裂点。
• 利用霍夫丁不等式控制分裂质量与叶节点预测中的估计误差。
• 对历史树结构施加条件，并在所有叶节点上使用联合界，以确保所有区域最终都会被探索。
• 引入一种递归分裂规则，确保具有正分裂潜力的每个叶节点都有任意高的概率被加入边缘。
• 采用收缩单元格方法，其中单元格体积随深度呈指数级减小，从而确保收敛到真实函数。

实验结果

研究问题

• RQ1 在流式数据假设下，能否证明在线随机森林的一致性？
• RQ2 固定大小的边缘数据结构是否会损害在线随机森林的一致性？
• RQ3 基于估计不纯度和预测误差的在线分裂规则能否确保收敛到真实的条件均值？
• RQ4 当任何时候仅使用数据子集进行树生长时，是否仍能保持一致性？

主要发现

• 在线随机森林算法具有一致性：随着训练样本数量的增加，其预测结果以概率收敛于真实回归函数。
• 所有具有正分裂潜力的叶节点都会在有限时间内以任意高的概率被加入边缘，从而确保没有区域被永久忽略。
• 由 K 次分裂生成的任意单元格的期望体积按 (2Dm+1)/(2Dm+2)^K 的速率指数衰减，确保区域快速缩小。
• 只要分裂次数相对于数据积累呈次线性增长，即使使用固定大小的边缘结构，该方法仍能保持一致性。
• 通过霍夫丁不等式推导出的理论界，确保分裂质量与预测的估计误差以高概率得到控制。
• 即使分裂并非同时在所有叶节点上执行，该算法仍能渐近满足收缩叶节点条件。