[论文解读] Adversarial Validation Approach to Concept Drift Problem in Automated Machine Learning Systems

Jing Pan, Vincent Pham+3 more|arXiv (Cornell University)|Apr 7, 2020

Data Stream Mining Techniques被引用 3

一句话总结

本文提出一种对抗性验证方法，用于在性能下降之前检测并适应用户定位自动化系统中的概念漂移。通过训练判别器以区分旧数据与新数据的分布，该方法能主动识别漂移，从而实现及时的模型微调，并在公共的AutoML3数据集和Uber的MaLTA系统上验证了其在新数据上提升预测准确性的效果。

ABSTRACT

In user targeting automation systems, concept drift in input data is one of the main challenges. It deteriorates model performance on new data over time. Previous research on concept drift mostly proposed model retraining after observing performance decreases. However, this approach is suboptimal because the system fixes the problem only after suffering from poor performance on new data. Here, we introduce an adversarial validation approach to concept drift problems in user targeting automation systems. With our approach, the system detects concept drift in new data before making inference, trains a model, and produces predictions adapted to the new data. We show that our approach addresses concept drift effectively with the AutoML3 Lifelong Machine Learning challenge data as well as in Uber's internal user targeting automation system, MaLTA.

研究动机与目标

• 解决用户定位自动化系统中的概念漂移问题，该问题因数据分布变化导致模型性能随时间下降。
• 克服基于性能的再训练策略的局限性，实现在性能下降前检测漂移。
• 开发一种主动方法，实现在新数据分布下及时的模型适应。
• 在AutoML3终身机器学习挑战赛和Uber的MaLTA系统的实际数据上验证该方法。

提出的方法

• 训练一个判别器模型，以区分历史（旧）数据与流入（新）数据的分布。
• 将判别器的置信度分数用作新数据中概念漂移的早期指标。
• 当判别器检测到显著的分布偏移时，触发模型再训练。
• 利用检测到的漂移适应后的分布，对预测模型在新数据上进行微调。
• 将对抗性验证模块集成到推理流水线中，实现实时漂移检测。
• 利用判别器的输出指导数据预处理和模型适应策略。

实验结果

研究问题

• RQ1 对抗性验证是否能在性能基线触发之前更早地检测到概念漂移？
• RQ2 对抗性验证方法在保持新数据分布上模型性能方面的有效性如何？
• RQ3 该方法能否成功应用于MaLTA等真实世界用户定位系统？
• RQ4 与传统再训练策略相比，该方法在预测准确率和延迟方面表现如何？

主要发现

• 对抗性验证方法在AutoML3挑战赛和Uber的MaLTA系统中均成功在性能退化前检测到概念漂移。
• 该方法实现了及时的模型再训练，与基于性能的再训练相比，显著提升了新数据上的预测准确率。
• 判别器区分旧数据与新数据的能力，可作为分布偏移的可靠早期预警信号。
• 该方法在真实世界部署场景中表现出鲁棒性和有效性，包括生产规模的用户定位系统。