[论文解读] Detecting Concept Drift With Neural Network Model Uncertainty

Lucas Baier, Tim Schlör+2 more|arXiv (Cornell University)|Jul 5, 2021

Data Stream Mining Techniques被引用 14

一句话总结

本文提出了一种新颖的概念漂移检测方法——不确定性漂移检测（UDD），该方法利用蒙特卡洛丢弃（Monte Carlo Dropout）来估计神经网络的预测不确定性，并应用ADWIN算法在无需真实标签的情况下实时检测分布漂移。UDD在十个真实世界数据集和两个合成数据集上的回归与分类任务中均优于现有最先进方法，实现了仅需极少标签访问的高效模型微调。

ABSTRACT

Deployed machine learning models are confronted with the problem of changing data over time, a phenomenon also called concept drift. While existing approaches of concept drift detection already show convincing results, they require true labels as a prerequisite for successful drift detection. Especially in many real-world application scenarios-like the ones covered in this work-true labels are scarce, and their acquisition is expensive. Therefore, we introduce a new algorithm for drift detection, Uncertainty Drift Detection (UDD), which is able to detect drifts without access to true labels. Our approach is based on the uncertainty estimates provided by a deep neural network in combination with Monte Carlo Dropout. Structural changes over time are detected by applying the ADWIN technique on the uncertainty estimates, and detected drifts trigger a retraining of the prediction model. In contrast to input data-based drift detection, our approach considers the effects of the current input data on the properties of the prediction model rather than detecting change on the input data only (which can lead to unnecessary retrainings). We show that UDD outperforms other state-of-the-art strategies on two synthetic as well as ten real-world data sets for both regression and classification tasks.

研究动机与目标

• 解决在真实世界机器学习部署中真实标签稀缺或获取成本高昂时的概念漂移检测挑战。
• 开发一种不依赖真实标签进行检测的漂移检测方法，与传统基于误差率的方法形成对比。
• 通过深度神经网络的不确定性估计，在回归与分类任务中实现有效的概念漂移处理。
• 通过基于模型行为而非仅输入数据分布变化来检测漂移，减少不必要的模型再训练。

提出的方法

• 在推理阶段应用丢弃（dropout）以生成随机输出，利用蒙特卡洛丢弃估计深度神经网络的预测不确定性。
• 通过多次前向传播计算不确定性：分类任务使用熵，回归任务使用方差。
• 将ADWIN变化检测算法应用于不确定性值流，以识别随时间的结构变化。
• 在检测到漂移后触发模型再训练，假设可访问有限的真实标签用于微调。
• 使用不确定性分位数（deciles）验证不确定性与预测误差的相关性，确认其作为模型可靠性代理的有效性。
• 通过相应调整不确定性计算方式，支持回归与分类任务。

实验结果

研究问题

• RQ1 在真实世界机器学习部署中，若无法获取真实标签，能否可靠检测概念漂移？
• RQ2 基于蒙特卡洛丢弃的模型不确定性与基于输入数据的漂移检测方法相比，在检测概念漂移方面表现如何？
• RQ3 与基于输入分布的方法相比，基于不确定性的漂移检测能否减少不必要的再训练次数？
• RQ4 UDD在具有不同漂移特征的多样化真实世界数据集上，于回归与分类设置中的表现如何？
• RQ5 不确定性能否作为检测概念漂移时预测误差的可靠代理？

主要发现

• 在全部十个真实世界数据集的回归与分类任务中，UDD均优于所有基线方法，在八组分类数据集中的七组达到最高预测性能。
• 在KDDCUP99数据集上，UDD仅需16次再训练，而KSWIN(unl.)策略需345次，同时保持了相近的预测性能。
• 尽管ADWIN可完全访问真实标签，UDD在三个数据集（Insects Abrupt、Insects IncAbr、Gas Sensor）上的表现仍优于ADWIN。
• 不确定性分位数与预测性能之间的关系表明，不确定性越高，准确率越低、RMSE越高，验证了不确定性作为误差代理的可靠性。
• 无信息再训练策略（固定再训练周期）通常优于KSWIN及其他依赖标签的方法，凸显了标签密集型方法的低效性。
• UDD在多种数据类型和漂移模式（包括突发性与渐进性漂移）下表现出鲁棒性，且无需事先知晓漂移类型。