[论文解读] Monitoring and explainability of models in production

Janis Klaise, Arnaud Van Looveren+3 more|arXiv (Cornell University)|Jul 13, 2020

Anomaly Detection Techniques and Applications参考文献 28被引用 29

一句话总结

本文提出了一套全面的框架，用于在生产环境中监控和解释机器学习模型，重点在于性能跟踪、数据漂移检测、异常值识别以及模型可解释性，采用开源工具实现。该框架引入了一种通过 Seldon Core 和 KFServing 实现的黑箱解释模式，支持通过基于 API 的查询实现按需解释，而无需访问模型内部结构。

ABSTRACT

The machine learning lifecycle extends beyond the deployment stage. Monitoring deployed models is crucial for continued provision of high quality machine learning enabled services. Key areas include model performance and data monitoring, detecting outliers and data drift using statistical techniques, and providing explanations of historic predictions. We discuss the challenges to successful implementation of solutions in each of these areas with some recent examples of production ready solutions using open source tools.

研究动机与目标

• 通过实施稳健的监控与可解释性系统，解决模型部署后维持高质量机器学习服务的挑战。
• 通过使用标签无关的指标、数据统计量和代理指标，克服生产环境中标签稀缺的局限性，以评估模型性能。
• 利用统计技术检测数据漂移和异常值，主动识别可能导致模型性能下降的分布偏移。
• 通过启用基于黑箱解释方法（如 Anchor 和 LIME）的按需、生产就绪的解释，提升机器学习系统的信任度与透明度。
• 利用 Seldon Core 和 KFServing 等开源基础设施平台，将监控与解释能力集成到可扩展的 MLOps 流水线中。

提出的方法

• 使用 Seldon Core 的 /send-feedback API 收集并计算实时性能指标，包括标准机器学习指标和自定义业务 KPI。
• 采用 Bolmier 等人（2019）提出的库实现在线、有状态的指标计算，确保在水平扩展部署中保持一致性。
• 应用统计技术（如变化点检测和 Kolmogorov-Smirnov 检验）检测输入和输出分布中的数据漂移与异常值。
• 部署黑箱解释模型（如 Anchor、LIME、SHAP），通过其预测 API 查询实时模型，生成无需访问模型内部结构的特征级解释。
• 设计双部署架构，将模型推理的 /predict 端点与独立的解释服务 /explain 端点分离，以支持按需解释请求。
• 利用 Seldon Core 和 KFServing 实现模型与解释组件的自动伸缩，确保在高请求负载下保持生产环境的弹性。

实验结果

研究问题

• RQ1 当真实标签延迟或不可用时，如何在生产环境中有效监控模型性能？
• RQ2 在实时机器学习系统中，哪些统计技术最有效地检测数据漂移与异常值？
• RQ3 如何在无法访问模型内部结构的情况下，将黑箱解释方法集成到生产机器学习流水线中？
• RQ4 哪些基础设施模式能够支持在生产环境中实现可扩展、可靠且低延迟的解释服务？
• RQ5 在实际部署中，如何有意义地关联标签无关指标与代理指标与实际模型性能？

主要发现

• 当真实标签不可用时，特征级别的矩统计量和预测统计量等标签无关指标可作为模型性能的有效代理。
• Kolmogorov-Smirnov 检验和变化点检测等统计漂移检测技术能够可靠识别输入和输出数据中的分布偏移。
• 通过基于 API 的交互模式，Anchor 和 LIME 等黑箱解释方法可成功与生产模型一同部署。
• 双部署模式（将模型推理与解释服务分离）支持自动伸缩与工作负载隔离，提升了系统可靠性。
• Seldon Core 和 KFServing 等开源工具可显著降低工程开销，支持端到端的监控与解释流水线部署。
• 将可解释性集成到生产系统中可增强模型信任度，并支持调试，尤其在医疗和金融等高风险领域具有重要意义。