[论文解读] Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm

Radin Hamidi Rad, Maryam Amir Haeri|arXiv (Cornell University)|Feb 10, 2019

Data Stream Mining Techniques参考文献 10被引用 9

一句话总结

本文提出 Hybrid Forest，一种基于集成的流数据挖掘算法，通过将 Hoeffding 树与弱学习器结合，以应对概念漂移和初始收敛缓慢的问题。通过利用弱学习器的早期预测，并在模型稳定后切换至主树，该方法在初始阶段预测和漂移恢复方面，相比单一 Hoeffding 树和随机森林变体，实现了更快的收敛速度和更优的准确性。

ABSTRACT

Nowadays with a growing number of online controlling systems in the organization and also a high demand of monitoring and stats facilities that uses data streams to log and control their subsystems, data stream mining becomes more and more vital. Hoeffding Trees (also called Very Fast Decision Trees a.k.a. VFDT) as a Big Data approach in dealing with the data stream for classification and regression problems showed good performance in handling facing challenges and making the possibility of any-time prediction. Although these methods outperform other methods e.g. Artificial Neural Networks (ANN) and Support Vector Regression (SVR), they suffer from high latency in adapting with new concepts when the statistical distribution of incoming data changes. In this article, we introduced a new algorithm that can detect and handle concept drift phenomenon properly. This algorithms also benefits from fast startup ability which helps systems to be able to predict faster than other algorithms at the beginning of data stream arrival. We also have shown that our approach will overperform other controversial approaches for classification and regression tasks.

研究动机与目标

• 解决 Hoeffding 树（VFDT）在流数据分类和回归任务中初始收敛缓慢的问题。
• 通过检测分布变化并实现快速恢复，提升对概念漂移的鲁棒性。
• 设计一种集成方法，在保持低计算和内存开销的同时提升预测准确性。
• 提供一种实用且可部署的解决方案，具备快速启动能力和实时适应性，适用于流式应用。

提出的方法

• 该算法采用混合架构：主 Hoeffding 树（VFDT）用于稳定、长期的预测，而一组弱学习器则用于在初始数据流到达时提供早期、快速的预测。
• 基于置信度的切换机制监控主树与弱学习器之间的预测一致性；当一致性较高时，系统切换至主树。
• 弱学习器通过增量方式训练，在主树稳定前提供初始预测，从而降低早期预测延迟。
• 通过主树与集成模型之间的预测不一致性检测概念漂移；检测到漂移后，系统触发重训练或模式切换以恢复准确性。
• 该方法利用 Hoeffding 不等式确保树分裂的统计置信度，保证在有界误差下的正确性。
• 通过高效复用弱学习器，该集成设计将内存使用量最小化——仅略高于单个 Hoeffding 树。

实验结果

研究问题

• RQ1 如何使流数据算法在数据到达初期实现更快的收敛？
• RQ2 集成方法在多大程度上能提升 Hoeffding 树对概念漂移的鲁棒性？
• RQ3 混合模型能否在保持低内存和计算开销的同时，优于单棵决策树和随机森林基线？
• RQ4 弱学习器的早期预测对流式回归和分类任务整体预测准确性有何影响？

主要发现

• 在 Abalone 数据集上，Hybrid Forest 仅用 185 个样本即达到 90% 的准确率，而单棵 Hoeffding 回归树（VFRT）则需 1042 个样本，表明收敛速度显著提升。
• 在 Wind 数据集上，Hybrid Forest 用 712 个样本达到 90% 准确率，优于单棵 VFRT（1073 个样本）；尽管随机森林基线更快（200 个样本），但其长期方差更高。
• 在概念漂移恢复方面，Hybrid Forest 在准确率保持和漂移后恢复速度上均优于 CVFDT、带选项的 CVFDT 以及 EDDM-VFDT。
• 在 Abalone 数据集上，该算法的内存占用为 9.36 MB，仅比单个 VFRT 多 0.36 MB，略高于具有 100 个弱学习器的随机森林（9 MB），表明内存开销极低。
• 图 9 显示，Hybrid Forest 在整体性能上持续优于单棵 VFRT，并在早期预测阶段与随机森林持平或超越。
• 该方法的理论分析证实，在 Hoeffding 不等式下，算法以高概率保证正确的树分裂，确保了可靠性。