[论文解读] Concept-drifting Data Streams are Time Series; The Case for Continuous Adaptation

Jesse Read|arXiv (Cornell University)|Oct 4, 2018

Data Stream Mining Techniques参考文献 14被引用 12

一句话总结

本文认为概念漂移的数据流本质上是时间序列，因其具有时间依赖性，从而挑战了流学习中普遍存在的独立同分布（i.i.d.）假设。本文提出通过随机梯度下降（SGD）实现连续自适应，作为Hoeffding树等破坏性重置方法的更优替代方案，证明SGD在多项式特征基下能实现更高的准确率与效率，且无需显式检测漂移，尤其在多项式特征基下表现更优。

ABSTRACT

Learning from data streams is an increasingly important topic in data mining, machine learning, and artificial intelligence in general. A major focus in the data stream literature is on designing methods that can deal with concept drift, a challenge where the generating distribution changes over time. A general assumption in most of this literature is that instances are independently distributed in the stream. In this work we show that, in the context of concept drift, this assumption is contradictory, and that the presence of concept drift necessarily implies temporal dependence; and thus some form of time series. This has important implications on model design and deployment. We explore and highlight the these implications, and show that Hoeffding-tree based ensembles, which are very popular for learning in streams, are not naturally suited to learning \emph{within} drift; and can perform in this scenario only at significant computational cost of destructive adaptation. On the other hand, we develop and parameterize gradient-descent methods and demonstrate how they can perform \emph{continuous} adaptation with no explicit drift-detection mechanism, offering major advantages in terms of accuracy and efficiency. As a consequence of our theoretical discussion and empirical observations, we outline a number of recommendations for deploying methods in concept-drifting streams.

研究动机与目标

• 挑战数据流学习中广泛持有的i.i.d.假设，表明在概念漂移存在时该假设存在矛盾。
• 证明概念漂移本质上意味着时间依赖性，从而将数据流视为时间序列。
• 主张基于梯度的方法实现的连续自适应，优于Hoeffding树中采用的“检测并重置”标准策略。
• 通过实证验证，在概念漂移下，基于SGD的模型在准确率和计算效率方面均优于Hoeffding树集成模型。
• 倡导在流式机器学习中更广泛采用神经网络与参数化梯度方法。

提出的方法

• 理论分析表明，概念漂移意味着时间依赖性，使数据流本质上成为时间序列。
• 提出使用多项式特征基（阶数2和3）的随机梯度下降（SGD）作为连续自适应机制。
• 采用预序评估方法，在真实与合成数据流上评估模型性能。
• 在多个数据集上将SGD与k-NN、Hoeffding树（HT）及Hoeffding树随机森林（RF-HT）进行比较。
• 为k-NN使用大小为w的滑动窗口，SGD则保持固定模型参数，以确保增量学习。
• 分析时间与空间复杂度，表明SGD的复杂度始终为O(d)，与流长度无关，而HT的复杂度为O(ℓd)，随树深度与重置次数增长。

实验结果

研究问题

• RQ1 在存在概念漂移的数据流中，i.i.d.假设是否成立？漂移是否本质上引入了时间依赖性？
• RQ2 基于梯度下降的连续自适应能否优于Hoeffding树集成中采用的“检测并重置”策略？
• RQ3 在概念漂移下，k-NN、Hoeffding树与基于SGD的模型之间的计算与准确率权衡如何？
• RQ4 基于SGD的模型在不同类型的流数据上与基于树的集成模型相比表现如何？
• RQ5 在无需显式漂移检测的情况下，基于梯度的方法能否在流式场景中有效参数化？

主要发现

• 使用多项式特征基的SGD（PBF-SGD）在所有测试数据集上均实现了高于Hoeffding树集成的准确率，包括Electricity数据集的85.9%、RTG数据集的81.8%、CoverType数据集的92.6%以及合成流数据的95.1%。
• Hoeffding树集成（RF-HT）在Electricity数据集上达到86.2%的准确率，RTG为77.9%，CoverType为93.9%，合成流为93.6%，但因树的生长与重置周期导致计算成本更高。
• k-NN在Electricity上达到79.8%，RTG为78.8%，CoverType为93.3%，合成流为96.0%，表现出较强性能，但受限于固定缓冲区大小。
• SGD保持恒定的O(d)时间与空间复杂度，而Hoeffding树的复杂度为O(ℓd)，随树深度与重置次数增长。
• SGD的总运行时间显著低于基于HT的方法，尤其在具有持续漂移的长流中优势更明显。
• 研究发现，与破坏性自适应相比，通过SGD实现的连续自适应在效率与准确率上更具优势，尤其在漂移渐进或持续的情况下。