[论文解读] An Ensemble Classification Algorithm Based on Information Entropy for Data Streams

Junhong Wang, Shuliang Xu+3 more|arXiv (Cornell University)|Aug 11, 2017

Data Stream Mining Techniques参考文献 25被引用 3

一句话总结

本文提出了一种用于数据流的集成分类算法（ECBE），该算法利用信息熵检测概念漂移并动态重加权分类器。通过测量熵来衡量不确定性，ECBE能够识别性能退化，丢弃低权重分类器，并在多个基准数据集上保持高准确率和高效率，尤其在概念漂移条件下优于OS-ELM，在准确率和时间效率方面表现更优。

ABSTRACT

Data stream mining problem has caused widely concerns in the area of machine learning and data mining. In some recent studies, ensemble classification has been widely used in concept drift detection, however, most of them regard classification accuracy as a criterion for judging whether concept drift happening or not. Information entropy is an important and effective method for measuring uncertainty. Based on the information entropy theory, a new algorithm using information entropy to evaluate a classification result is developed. It uses ensemble classification techniques, and the weight of each classifier is decided through the entropy of the result produced by an ensemble classifiers system. When the concept in data streams changing, the classifiers' weight below a threshold value will be abandoned to adapt to a new concept in one time. In the experimental analysis section, six databases and four proposed algorithms are executed. The results show that the proposed method can not only handle concept drift effectively, but also have a better classification accuracy and time performance than the contrastive algorithms.

研究动机与目标

• 解决数据流分类中的概念漂移挑战，即数据分布随时间发生变化。
• 克服现有集成方法仅依赖分类准确率进行漂移检测的局限性，后者无法捕捉信息不确定性。
• 提出一种方法，利用信息熵量化分类结果中的不确定性，并指导动态分类器重加权。
• 与现有最先进算法相比，提升动态数据流环境下的分类性能和计算效率。
• 确保在不同类型的概念漂移（包括突发性和渐变性漂移）下均具备鲁棒性。

提出的方法

• 提出一种集成分类框架（ECBE），维护多个基分类器，并根据其集体输出的信息熵动态分配权重。
• 将集成预测分布的熵作为不确定性的度量：熵越高，表示不确定性越大，可能存在概念漂移。
• 定义分类器权重更新规则，降低对高熵输出有贡献的分类器权重，低于阈值的权重将被丢弃。
• 引入基于阈值的机制以检测概念漂移：当熵显著增加时，系统触发权重重分配和分类器替换。
• 在多种激活函数（radbas、sigmoid、sine、hardlim）下应用该算法，并对超参数（α=0.05，β=2，γ=0.1）进行调优以实现最佳性能。
• 采用滑动窗口机制（窗口大小根据数据集调优）以维护固定的历史数据窗口，用于熵计算和漂移检测。

实验结果

研究问题

• RQ1 信息熵是否可作为数据流中概念漂移检测的可靠指标，超越传统的基于准确率的方法？
• RQ2 所提出的ECBE算法在不同数据流条件（包括概念漂移）下如何保持高分类准确率？
• RQ3 ECBE在准确率和时间效率方面相较于现有集成方法（如OS-ELM）的优越程度如何？
• RQ4 ECBE能否有效检测突发性和渐变性概念漂移，如在合成数据集和真实数据集中的观察结果所示？
• RQ5 基于熵的动态分类器重加权机制如何提升长期模型的稳定性和性能？

主要发现

• 在六个基准数据集中的四个（waveform、Hyperplane、LED、sensor_reading_24）上，ECBE的分类准确率高于OS-ELM，且在sensor_reading_24和shuttle数据集上具有统计显著性提升。
• 在waveform和Hyperplane数据集上，OS-ELM的准确率略高于ECBE（差值小于0.02），但ECBE在四个数据集上表现出更优的时间效率。
• ECBE展现出强大的时间效率，其执行时间在page-blocks上低至0.2187秒，在sensor_reading_24上为0.3486秒，多数数据集上优于OS-ELM。
• ECBE在四个数据集（Hyperplane、SEA、waveform、RBF）中成功检测到15次概念漂移事件，准确识别出Hyperplane和waveform中的全部6次突发漂移，并检测到RBF中的渐变漂移。
• 尽管存在少量误报或漏报（如Hyperplane中一次误报，SEA中一次漏检漂移），ECBE的基于熵的检测机制整体表现有效。
• 通过丢弃低性能分类器并恢复性能，该算法在检测后仍保持高准确率，证实了基于熵的重加权策略的有效性。