[论文解读] Adaptive Convolutional ELM For Concept Drift Handling in Online Stream Data

Arif Budiman, Mohamad Ivan Fanany+1 more|arXiv (Cornell University)|Oct 7, 2016

Data Stream Mining Techniques参考文献 41被引用 9

一句话总结

该论文提出自适应卷积ELM（ACNNELM），一种混合深度学习模型，结合卷积神经网络（CNNs）进行分层特征提取与弹性ELM（E²LM）以实现快速、自适应的分类。该方法提出两种变体：ACNNELM-1通过自适应OS-ELM（AOS-ELM）实现分类器级别的自适应；ACNNELM-2通过矩阵拼接实现集成级别的鲁棒性。在MNIST和非-MNIST数据集上，该方法在虚拟、真实和混合漂移条件下，均展现出优于标准ELM和CNN的卓越准确率、可扩展性及概念漂移处理能力。

ABSTRACT

In big data era, the data continuously generated and its distribution may keep changes overtime. These challenges in online stream of data are known as concept drift. In this paper, we proposed the Adaptive Convolutional ELM method (ACNNELM) as enhancement of Convolutional Neural Network (CNN) with a hybrid Extreme Learning Machine (ELM) model plus adaptive capability. This method is aimed for concept drift handling. We enhanced the CNN as convolutional hiererchical features representation learner combined with Elastic ELM (E$^2$LM) as a parallel supervised classifier. We propose an Adaptive OS-ELM (AOS-ELM) for concept drift adaptability in classifier level (named ACNNELM-1) and matrices concatenation ensembles for concept drift adaptability in ensemble level (named ACNNELM-2). Our proposed Adaptive CNNELM is flexible that works well in classifier level and ensemble level while most current methods only proposed to work on either one of the levels. We verified our method in extended MNIST data set and not MNIST data set. We set the experiment to simulate virtual drift, real drift, and hybrid drift event and we demonstrated how our CNNELM adaptability works. Our proposed method works well and gives better accuracy, computation scalability, and concept drifts adaptability compared to the regular ELM and CNN. Further researches are still required to study the optimum parameters and to use more varied image data set.

研究动机与目标

• 解决在线大数据流中概念漂移的挑战，其中数据分布随时间发生变化。
• 克服传统机器学习模型（如ELM和CNN）在动态、非平稳数据上表现不佳的局限性。
• 开发一种可扩展、自适应的深度学习框架，在数据概念持续演化的条件下保持高准确率。
• 引入双重机制——分类器级别与集成级别自适应——以增强对各类漂移类型的鲁棒性。
• 在多种漂移场景下验证方法的有效性：虚拟漂移（输入特征变化）、真实漂移（类别数量变化）和混合漂移。

提出的方法

• 使用CNN作为分层特征提取器，从图像数据流中自动学习空间表征。
• 将CNN提取的特征与弹性ELM（E²LM）并行集成，作为快速有监督分类器以实现实时学习。
• 在ACNNELM-1中实现自适应OS-ELM（AOS-ELM），以动态调整分类器参数，响应分类器级别的概念漂移。
• 通过将多个在不同概念状态上训练的CNN-ELM模型的预测矩阵进行拼接，构建ACNNELM-2，实现集成级别的自适应能力。
• 在拼接前对输出维度进行零填充，以确保模型间兼容性，保障集成聚合的顺利进行。
• 使用时间序列索引追踪概念变化，并在检测到漂移时触发模型自适应或重训练。

实验结果

研究问题

• RQ1 混合CNN-ELM模型是否能有效处理在线流数据中的概念漂移？
• RQ2 所提出的ACNNELM-1模型在分类器级别应对概念漂移时表现如何？
• RQ3 ACNNELM-2通过模型拼接实现的集成级别自适应，在多大程度上提升了性能？
• RQ4 该方法在虚拟漂移（输入特征变化）、真实漂移（类别数量变化）和混合漂移条件下的表现如何？
• RQ5 ACNNELM在概念漂移条件下与标准ELM和CNN相比，其准确率和可扩展性如何？

主要发现

• ACNNELM-1在使用6c-1s模型处理MNIST数据集的混合漂移时，准确率达到93.42%，显著优于基线ELM和CNN。
• ACNNELM-2在使用6c-2s-12c-2s模型处理扩展版MNIST数据集的混合漂移时，准确率达到95.94%，通过集成聚合实现卓越性能。
• 在非-MNIST数据上，ACNNELM-2在混合漂移条件下达到85.14%的准确率，展现出在多样化图像数据集上的强大泛化能力。
• 该方法保持了较高的Cohen’s Kappa评分（如MNIST混合漂移下为0.36），表明预测结果与真实标签之间具有强一致性。
• ACNNELM-2由于集成平均和模型多样性带来的优势，相比ACNNELM-1展现出更好的计算可扩展性和准确率。
• 该模型在处理虚拟漂移（如扩展版MNIST中准确率达79.12%）和真实漂移（如MNIST类别增加时准确率达93.61%）方面均表现出强鲁棒性。