[论文解读] A Data Quality-Driven View of MLOps

Cédric Renggli, Luka Rimanić+4 more|arXiv (Cornell University)|Feb 15, 2021

Machine Learning and Data Classification参考文献 49被引用 43

一句话总结

本论文分析数据质量维度如何在 MLOps 阶段传播，并提出原则性方法（CPClean、BER estimation、CI、ModelPicker）以使数据质量与下游 ML 性能对齐。

ABSTRACT

Developing machine learning models can be seen as a process similar to the one established for traditional software development. A key difference between the two lies in the strong dependency between the quality of a machine learning model and the quality of the data used to train or perform evaluations. In this work, we demonstrate how different aspects of data quality propagate through various stages of machine learning development. By performing a joint analysis of the impact of well-known data quality dimensions and the downstream machine learning process, we show that different components of a typical MLOps pipeline can be efficiently designed, providing both a technical and theoretical perspective.

研究动机与目标

• 突出 ML 模型质量与底层数据质量维度（准确性、完整性、一致性、时效性）之间的依赖关系。
• 在整个 MLOps 生命周期阶段呈现统一的数据质量视角。
• 展示四个案例研究（数据清洗、可行性研究、CI/CD、模型选择），将数据质量与 ML 结果联系起来。

提出的方法

• 使用类似 CPClean 的框架，将数据质量对 ML 训练的噪声传播建模，通过可能数据世界的条件熵来最小化训练数据清洗。
• 提出基于 BER 的可行性研究方法，使用无参数、无超参数的估计器与预训练嵌入（ease.ml/snoopy）。
• 引入 ML 的 CI/CD 测试，具有概率性测试条件和考虑多次评估的样本量预算（ease.ml/ci）。
• 提出 ModelPicker，一种在线模型选择方法，选择性地查询标签以对预训练模型进行排序，在对抗性数据流上具有无後悔保证。

实验结果

研究问题

• RQ1 数据的准确性、完整性、一致性和时效性如何在 ML 训练与评估流程中传播？
• RQ2 我们能否设计出具备数据质量感知的 MLOps 组件，在不进行过多人工标注的情况下提升 ML 质量？
• RQ3 如何估算可行性（BER）并用于在不进行昂贵训练的情况下防止对 ML 项目期望过高？
• RQ4 在生产 ML 系统中，如何在标注预算约束下确保鲁棒的持续测试和模型选择？
• RQ5 在 MLOps 中，数据感知的模型选择与清洗的理论极限与实际算法是什么？

主要发现

• 数据质量维度强烈影响 ML 模型质量，解决数据质量与调整模型同样重要。
• CPClean 提供了一种有原则的方法来建模噪声传播，并通过最小化可能数据世界的熵来引导清洗，对 kNN 分类器有高效实现。
• BER 估计可以在不使用超参数的情况下通过无参数的、基于嵌入的最近邻方法来实现，以支持实际的可行性研究。
• CI/CD for ML 引入概率性测试结果，需要基于置信界的评估并优化测试集复用以防止对测试数据的过拟合。
• ModelPicker 提供在对抗性和随机数据流下的无后悔在线模型选择策略，降低生产数据场景中的标注成本。