[论文解读] MLDemon: Deployment Monitoring for Machine Learning Systems

Antonio Ginart, Martin Jinye Zhang+1 more|arXiv (Cornell University)|Apr 28, 2021

Data Stream Mining Techniques参考文献 64被引用 5

一句话总结

MLDemon 是一种新颖的自适应监控框架，用于机器学习系统，在预算约束下结合未标记数据与按需专家标签，实时估计模型准确率。它通过达到极小化最大率最优性并具备对不可靠异常检测器的鲁棒性，显著减少了昂贵的标签查询次数，同时在分布漂移下保持高监控准确率。

ABSTRACT

Post-deployment monitoring of ML systems is critical for ensuring reliability, especially as new user inputs can differ from the training distribution. Here we propose a novel approach, MLDemon, for ML DEployment MONitoring. MLDemon integrates both unlabeled data and a small amount of on-demand labels to produce a real-time estimate of the ML model's current performance on a given data stream. Subject to budget constraints, MLDemon decides when to acquire additional, potentially costly, expert supervised labels to verify the model. On temporal datasets with diverse distribution drifts and models, MLDemon outperforms existing approaches. Moreover, we provide theoretical analysis to show that MLDemon is minimax rate optimal for a broad class of distribution drifts.

研究动机与目标

• 解决在真实环境中地面真实标签昂贵且无法实时获取时，监控机器学习模型性能的关键挑战。
• 设计一种部署监控策略，在准确估计模型准确率的同时最小化专家标签查询次数，即使在分布漂移下也能保持准确。
• 确保对可能无法检测准确率退化的脆弱无监督异常检测器具备鲁棒性。
• 理论上证明 MLDemon 对于一大类分布漂移，其估计性能达到极小化最大率最优性（对数因子内）。
• 通过实证验证，MLDemon 在多种分布漂移下，于估计与决策任务中均优于先前方法。

提出的方法

• MLDemon 将部署监控问题建模为在线流式任务，通过在查询成本与监控风险之间权衡，随时间估计模型准确率。
• 它采用混合方法，结合无监督基于特征的异常检测与按需专家标注，仅在必要时触发查询。
• 该策略根据检测信号与模型置信度之间的动态平衡，自适应决定何时查询标签，从而最小化不必要的查询。
• MLDemon 采用批量查询机制，在初始获得置信度后延长查询周期，相比固定周期策略更具效率。
• 该方法具有坚实的理论基础，证明了在铰链损失与二元风险度量下，估计与决策问题的极小化最大率最优性。
• 它整合了一套统计框架，对边缘分布与条件分布的漂移进行建模，即使在特征漂移不存在的情况下也能检测准确率退化。

实验结果

研究问题

• RQ1 监控策略是否能在分布漂移下实现极小化最大率最优性，同时最小化专家标签查询次数？
• RQ2 MLDemon 的自适应查询策略相较于固定周期或反应式策略，在查询效率与准确率估计方面表现如何？
• RQ3 MLDemon 在多大程度上能对不可靠或误导性异常检测器保持鲁棒性，即使这些检测器未能检测到准确率漂移？
• RQ4 结合未标记数据与选择性标注是否能提升性能，相较于完全无监督或完全有监督的监控方法？
• RQ5 MLDemon 在不同程度的分布漂移与标签成本约束下，性能扩展性如何？

主要发现

• MLDemon 对一大类分布漂移实现了极小化最大率最优性，理论保证达到对数因子内最优。
• 在具有多样化分布漂移的时间序列数据集上的实验表明，MLDemon 在估计与决策任务中均优于现有方法。
• 与基线策略（如 PQ 和 RR）相比，MLDemon 将所需专家标签数量减少了高达 50%，尤其在检测信号延迟或误导的场景下表现更优。
• 该方法对脆弱的异常检测器表现出鲁棒性，即使基于特征的检测器未能检测到条件分布漂移，仍能保持高准确率。
• 可视化结果表明，MLDemon 在初始批次后延长查询周期，长期准确率估计优于固定周期策略（如 PQ）。
• 在极低查询预算下，MLDemon 的性能趋近于 PQ，但随着查询次数增加，其性能显著优于 PQ，展现出良好的自适应性与可扩展性。