[论文解读] Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber

Jing Pan, Vincent Pham+3 more|arXiv (Cornell University)|Apr 7, 2020

Data Stream Mining Techniques参考文献 15被引用 9

一句话总结

本文提出了一种对抗性验证方法，用于在Uber的用户定位自动化系统中检测并缓解概念漂移，通过对抗性分类器识别训练数据与测试数据之间的分布偏移。该方法通过选择判别性特征或重加权数据来提升模型性能，其中对抗性特征选择在公开数据集和内部数据集上均优于其他方法。

ABSTRACT

In user targeting automation systems, concept drift in input data is one of the main challenges. It deteriorates model performance on new data over time. Previous research on concept drift mostly proposed model retraining after observing performance decreases. However, this approach is suboptimal because the system fixes the problem only after suffering from poor performance on new data. Here, we introduce an adversarial validation approach to concept drift problems in user targeting automation systems. With our approach, the system detects concept drift in new data before making inference, trains a model, and produces predictions adapted to the new data. We show that our approach addresses concept drift effectively with the AutoML3 Lifelong Machine Learning challenge data as well as in Uber's internal user targeting automation system, MaLTA.

研究动机与目标

• 解决大规模用户定位自动化系统中的概念漂移问题，其中特征分布随时间发生偏移。
• 在模型推理前检测训练数据与测试数据之间的分布差异，实现主动适应。
• 通过利用对抗性学习技术提升模型在新数据上的泛化能力，而无需等待性能下降。
• 在真实世界数据集和基准数据集上评估并比较三种对抗性验证方法——特征选择、验证数据选择和逆倾向加权——的性能。
• 证明在高噪声、大规模环境下，对抗性特征选择比传统的倾向得分方法更具鲁棒性和有效性。

提出的方法

• 训练一个对抗性分类器以区分训练数据与测试数据的分布，将模型性能作为分布偏移的指标。
• 利用对抗性分类器的注意力机制，选择对分布差异贡献最大的特征，从而提升模型在测试数据上的泛化能力。
• 应用逆倾向加权（IPW）方法，根据样本属于测试分布的可能性对训练样本进行重加权，以减少领域偏移。
• 通过筛选与测试数据分布相似的训练样本实现验证数据选择，从而提升验证性能作为测试性能的代理指标。
• 将对抗性检测与GBDT（如LightGBM）的模型训练相结合，以处理缺失值和复杂的特征交互。
• 将对抗性分类器的输出作为信号，指导模型在部署前的再训练与适应，实现概念漂移的主动缓解。

实验结果

研究问题

• RQ1 对抗性验证是否能比传统的‘性能下降后才重新训练’的方法更早检测到概念漂移？
• RQ2 在真实世界用户定位系统中，不同对抗性验证技术——特征选择、验证数据选择和IPW——在缓解概念漂移方面的表现如何比较？
• RQ3 为何在高噪声、大规模环境中，对抗性特征选择优于IPW和验证数据选择？
• RQ4 当发生分布偏移时，对抗性检测能在多大程度上提升模型在未见测试数据上的性能？
• RQ5 如何将对抗性检测集成到模型训练流水线中，以实现在生产系统中的终身学习？

主要发现

• 对抗性特征选择在所有数据集（包括Uber的MaLTA系统和AutoML3挑战赛数据）上均持续优于验证数据选择和IPW方法。
• 在MaLTA数据集上，对抗性特征选择将测试AUC从基线的61.34%提升至63.05%，提升了1.71个百分点。
• 该方法通过聚焦于判别性特征，减少了对噪声倾向得分估计的依赖，从而降低了性能估计的方差。
• IPW表现出更高的方差和较差的性能，可能源于逆倾向权重估计中的噪声，尽管其降低了偏差。
• 验证数据选择略微提升了验证AUC，但泛化能力不如特征选择，表明基于代理的验证存在局限性。
• 研究表明，对抗性检测的质量比下游模型训练方法更为关键，强调了鲁棒特征区分能力的必要性。