[论文解读] ML Health: Fitness Tracking for Production Models

Sindhu Ghanta, Sriram Subramanian+6 more|arXiv (Cornell University)|Feb 7, 2019

Context-Aware Activity Recognition Systems参考文献 7被引用 5

一句话总结

本文提出了 ML Health 框架，用于在不依赖标签的情况下监控生产环境中机器学习模型的健康状态。该框架提出了一种新颖的相似性度量方法，相较于传统的 RMSE 或 KL 散度等度量方法，能更有效地检测数据分布漂移，在实时部署中表现出更优的性能，可更早识别出因数据漂移导致的模型退化。

ABSTRACT

Deployment of machine learning (ML) algorithms in production for extended periods of time has uncovered new challenges such as monitoring and management of real-time prediction quality of a model in the absence of labels. However, such tracking is imperative to prevent catastrophic business outcomes resulting from incorrect predictions. The scale of these deployments makes manual monitoring prohibitive, making automated techniques to track and raise alerts imperative. We present a framework, ML Health, for tracking potential drops in the predictive performance of ML models in the absence of labels. The framework employs diagnostic methods to generate alerts for further investigation. We develop one such method to monitor potential problems when production data patterns do not match training data distributions. We demonstrate that our method performs better than standard "distance metrics", such as RMSE, KL-Divergence, and Wasserstein at detecting issues with mismatched data sets. Finally, we present a working system that incorporates the ML Health approach to monitor and manage ML deployments within a realistic full production ML lifecycle.

研究动机与目标

• 为解决在缺乏真实标签的情况下监控生产环境中机器学习模型性能这一关键挑战。
• 开发一种无标签、与算法无关的方法，用于在实时生产系统中检测数据和模型漂移。
• 设计并部署一个实用系统，将 ML Health 度量集成到机器学习全生命周期中，实现实时监控。
• 证明所提出的相似性度量方法在检测分布漂移方面优于标准距离度量。
• 使企业能够主动检测并响应模型退化，防止其导致业务或安全故障。

提出的方法

• 该框架引入了一种名为“相似性”的新度量方法，用于在不依赖标签的情况下量化训练数据与推理数据之间的分布对齐程度。
• 相似性度量采用非参数化、基于核的方法计算，能够捕捉训练数据与推理数据分布之间的重叠情况。
• 系统通过一种语言无关的 MLOps API 与现有机器学习流水线集成，实现在推理过程中自动收集数据统计信息和相似性得分。
• 该框架支持基于阈值的告警机制，通过初始推理运行动态配置阈值，以减少人工调优。
• 系统通过 MCenter（一个生产编排平台）进行部署，该平台通过 Web 仪表板实时可视化数据分布重叠情况和相似性得分。
• 该方法在分类和回归任务中进行了评估，表现出对多种数据类型和模型架构的鲁棒性。

实验结果

研究问题

• RQ1 当缺乏真实标签时，如何在生产环境中监控机器学习模型的健康状态？
• RQ2 哪些度量方法能有效检测无标签数据下的分布漂移？
• RQ3 所提出的相似性度量方法与 RMSE 和 KL 散度等标准距离度量相比，在检测数据漂移方面表现如何？
• RQ4 无标签、与算法无关的方法能否在真实世界生产机器学习系统中有效部署？
• RQ5 如何在企业级机器学习流水线中实现自动化、可扩展的数据与模型漂移告警？

主要发现

• 所提出的相似性度量方法在多个测试场景中，相较于 RMSE、KL 散度和 Wasserstein 距离等标准度量方法，更优地检测到数据分布漂移。
• 相似性度量表现出非对称性，从而增强了对分布不匹配的敏感度，特别是在推理数据与训练数据发生偏离时。
• 在 TELCO 数据集上的随机森林模型受控实验中，当测试数据模式（如突发负载与周期性负载）与训练模式不同时，相似性度量成功检测到性能退化。
• 该框架通过实时监控数据分布漂移，实现了对模型退化的早期检测，即使在无标签条件下亦可实现。
• 系统与 MCenter 的集成使得相似性得分和数据分布重叠情况可在生产仪表板中实现自动化、可扩展的部署与可视化。
• 该方法具有可扩展性，支持基于初始推理运行自动配置告警阈值，显著降低了高维数据场景下的运维负担。