[论文解读] Hellinger Distance Trees for Imbalanced Streams

R. J. P. Lyon, John Brooke+2 more|arXiv (Cornell University)|May 9, 2014

Imbalanced Data Classification Techniques参考文献 18被引用 9

一句话总结

本文提出了一种新型增量决策树分类器 GH-VFDT，用于处理类别极度不平衡的数据流，采用 Hellinger 距离作为分裂准则，显著提升了少数类的召回率。通过将 Hellinger 距离与 Hoeffding Tree 框架结合，该方法在召回率上优于 VFDT，且在性能上可与 HD-VFDT 比肩，同时具有更低的假阳性率，因此在实时流式应用（如脉冲星信号识别）中对罕见事件检测具有显著有效性。

ABSTRACT

Classifiers trained on data sets possessing an imbalanced class distribution are known to exhibit poor generalisation performance. This is known as the imbalanced learning problem. The problem becomes particularly acute when we consider incremental classifiers operating on imbalanced data streams, especially when the learning objective is rare class identification. As accuracy may provide a misleading impression of performance on imbalanced data, existing stream classifiers based on accuracy can suffer poor minority class performance on imbalanced streams, with the result being low minority class recall rates. In this paper we address this deficiency by proposing the use of the Hellinger distance measure, as a very fast decision tree split criterion. We demonstrate that by using Hellinger a statistically significant improvement in recall rates on imbalanced data streams can be achieved, with an acceptable increase in the false positive rate.

研究动机与目标

• 为解决增量分类器在高度不平衡数据流上运行时少数类性能差的问题，特别是在实时应用中。
• 提升在传统准确率指标因类别偏斜而具有误导性的数据流中，稀有类别实例的召回率。
• 开发一种计算高效、对类别偏斜不敏感的分裂准则，适用于数据流环境中的在线学习。
• 实现从平方公里阵列（SKA）等望远镜产生的大规模、高速率数据流中，有效检测稀有天体信号（如脉冲星）的目标。
• 为现有基于 Hellinger 的流分类器提供一种内存高效的替代方案，同时保持高少数类召回率。

提出的方法

• 该方法在基于 Hoeffding Tree 的增量学习框架中采用 Hellinger 距离作为分裂准则，取代传统的基尼不纯度或信息增益。
• 利用 Hellinger 距离衡量候选分裂点处各类别分布之间的统计差异，偏好能最好分离少数类与多数类的分裂。
• 算法通过流式统计方法在每个节点动态更新类别分布估计，实现实时学习，而无需存储完整数据。
• 一种改进版本 GH-VFDT 将 Hellinger 距离与一种贪心优化策略结合，以降低假阳性率，同时保持高召回率。
• 该方法设计为计算轻量化，适用于如平方公里阵列（SKA）等高速率数据流环境。
• 利用 Hoeffding 不等式确保在数据有限的情况下，以高概率收敛决策树结构。

实验结果

研究问题

• RQ1 将 Hellinger 距离作为分裂准则，是否能在高度不平衡数据流的增量决策树中显著提升少数类召回率？
• RQ2 与标准 VFDT 相比，基于 Hellinger 的流分类器在高度不平衡流上的召回率和假阳性率表现如何？
• RQ3 与现有基于 Hellinger 的流学习器相比，基于 Hellinger 的方法是否能在保持高性能的同时降低内存使用？
• RQ4 所提出的 GH-VFDT 方法是否在真实世界高度不平衡数据流上实现了 G-mean 和召回率的统计显著提升？
• RQ5 该方法是否能有效检测来自射电望远镜的高数据率、高噪声流中的稀有脉冲星信号？

主要发现

• 在所有测试的不平衡数据流中，GH-VFDT 的少数类召回率显著高于 VFDT，尤其在最偏斜的数据集中提升尤为明显。
• 该算法在 G-mean 和召回率方面均优于先前工作中描述的静态分类器，表明其在流式环境中的强大泛化能力。
• GH-VFDT 在召回率上优于 VFDT，同时保持更低的假阳性率，因此在假阳性代价较高的应用中更具适用性。
• 除 MiniBoone 数据集外，在 α=0.01 水平下，GH-VFDT 与 HD-VFDT 的性能差异均无统计显著性，表明二者效果相当。
• 基于 Hellinger 距离的分裂准则被证明是流式决策树中一种稳健、快速且对类别偏斜不敏感的传统不纯度度量的替代方案。
• 该方法在如脉冲星天文学等高吞吐量环境中的实时罕见事件检测中展现出实际可行性。