[论文解读] Automatic Learning to Detect Concept Drift

Hang Yu, Tianyu Liu+2 more|arXiv (Cornell University)|May 4, 2021

Data Stream Mining Techniques参考文献 21被引用 6

一句话总结

该论文提出 Meta-ADD，一种元学习框架，通过原型网络学习误差率模式，自动检测并分类数据流中的概念漂移。其在漂移检测准确率和 F1 分数方面优于现有方法，在合成数据上达到 89.2% 的准确率和 0.85 的 F1 分数，同时实现无需初始预热窗口的实时分类。

ABSTRACT

Many methods have been proposed to detect concept drift, i.e., the change in the distribution of streaming data, due to concept drift causes a decrease in the prediction accuracy of algorithms. However, the most of current detection methods are based on the assessment of the degree of change in the data distribution, cannot identify the type of concept drift. In this paper, we propose Active Drift Detection with Meta learning (Meta-ADD), a novel framework that learns to classify concept drift by tracking the changed pattern of error rates. Specifically, in the training phase, we extract meta-features based on the error rates of various concept drift, after which a meta-detector is developed via a prototypical neural network by representing various concept drift classes as corresponding prototypes. In the detection phase, the learned meta-detector is fine-tuned to adapt to the corresponding data stream via stream-based active learning. Hence, Meta-ADD uses machine learning to learn to detect concept drifts and identify their types automatically, which can directly support drift understand. The experiment results verify the effectiveness of Meta-ADD.

研究动机与目标

• 解决概念漂移检测中的冷启动问题，即在初始数据窗口收集期间无法进行检测。
• 克服现有方法仅能检测漂移发生而无法分类其类型的局限。
• 通过机器学习实现概念漂移类型自动、实时分类。
• 开发一种元检测器，可在多样化数据流上泛化，并通过主动学习实现自适应。
• 通过学习与不同漂移类型相关的判别性误差率模式，提升检测准确率。

提出的方法

• 在预训练阶段，从各种概念漂移类型中的误差率模式中提取元特征。
• 采用原型神经网络将每种概念漂移类别表示为单一原型，实现少样本分类。
• 使用元学习策略在多样化漂移模式上训练检测器，使其能够泛化到未见过的数据流。
• 基于流的主动学习（SAL）在线微调元检测器，以适应特定数据流的分布。
• 系统在无需初始预热窗口的情况下实现实时漂移类型分类。
• 该方法利用少样本学习处理漂移类型丰富但每类训练样本有限的不平衡问题。

实验结果

研究问题

• RQ1 能否在离线状态下训练机器学习模型，以检测并分类概念漂移类型，而无需依赖手工规则？
• RQ2 元学习是否能使检测器在多样化数据流上泛化，并快速适应新的漂移模式？
• RQ3 基于流的主动学习是否能提升真实世界数据流中概念漂移检测的准确率？
• RQ4 所提出的框架能否消除概念漂移检测中的冷启动问题？
• RQ5 在准确率和 F1 分数方面，Meta-ADD 与最先进漂移检测方法相比表现如何？

主要发现

• 在合成玩具数据集上，Meta-ADD 达到 89.2% 的准确率和 0.85 的 F1 分数，优于所有基线方法，包括 Meta-DD 和传统方法。
• 在真实世界数据集上，Meta-ADD 在 Elec 数据集上达到最高准确率（85.7%），在 Spam 数据集上达到 95.2% 的准确率，且误报率低于竞争方法。
• 主动学习组件提升了检测性能，所有数据集的 F1 分数均持续提高。
• 随着窗口大小（l 和 n）增大，检测到的漂移数量减少，表明在参数调优后能更好地控制误报。
• Meta-ADD 通过从第一个数据点起即可立即实现漂移检测与分类，成功消除了冷启动问题。
• 该框架在多样化数据流中表现出鲁棒性，包括高维和长序列数据集（如 Poke 和 Air）。”