[论文解读] Characterizing machine learning process: A maturity framework

Rama Akkiraju, Vibha Singhal Sinha+6 more|arXiv (Cornell University)|Nov 12, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用 12

一句话总结

本文提出了一种基于能力成熟度模型（CMM）的机器学习成熟度框架，旨在指导企业系统化管理机器学习生命周期。该框架概述了将业务用例与数据科学需求对齐、提升模型准确性和公平性，以及针对特定领域需求定制通用模型的最佳实践，使组织无论起点如何，都能实现更高的流程成熟度。

ABSTRACT

Academic literature on machine learning modeling fails to address how to make machine learning models work for enterprises. For example, existing machine learning processes cannot address how to define business use cases for an AI application, how to convert business requirements from offering managers into data requirements for data scientists, and how to continuously improve AI applications in term of accuracy and fairness, and how to customize general purpose machine learning models with industry, domain, and use case specific data to make them more accurate for specific situations etc. Making AI work for enterprises requires special considerations, tools, methods and processes. In this paper we present a maturity framework for machine learning model lifecycle management for enterprises. Our framework is a re-interpretation of the software Capability Maturity Model (CMM) for machine learning model development process. We present a set of best practices from our personal experience of building large scale real-world machine learning models to help organizations achieve higher levels of maturity independent of their starting point.

研究动机与目标

• 解决学术文献中关于如何在企业环境中实施机器学习模型的空白。
• 提供一种将业务需求系统化转化为数据科学任务的结构化方法。
• 通过持续改进提升人工智能应用在准确性、公平性和领域特定定制化方面的表现。
• 建立支持可扩展、可靠人工智能部署的机器学习开发流程成熟度模型。
• 为处于任何初始成熟度水平的组织提供基于实践经验的最佳实践。

提出的方法

• 将软件能力成熟度模型（CMM）适配至机器学习生命周期。
• 识别五个成熟度等级（初始、已管理、已定义、可量化管理、优化）中的关键过程领域。
• 将企业级机器学习挑战（如用例定义、需求转化和模型定制）映射到过程能力。
• 整合来自不同领域大规模真实世界机器学习部署的最佳实践。
• 采用具有明确过程目标、活动和度量标准的结构化框架，每个成熟度等级均适用。
• 强调持续改进、反馈回路，以及业务、数据科学和工程团队之间的跨职能协作。

实验结果

研究问题

• RQ1 企业如何系统化管理端到端的机器学习生命周期，以确保人工智能的可靠和可扩展部署？
• RQ2 将业务需求转化为可执行的数据科学任务，需要哪些过程能力？
• RQ3 组织如何通过结构化、可重复的流程提升模型的准确性和公平性？
• RQ4 领域特定数据定制在提升各行业模型性能方面发挥什么作用？
• RQ5 组织如何通过既定的成熟度等级实现可持续的机器学习运维？

主要发现

• 所提出的成熟度框架使组织能够根据其初始能力水平评估并改进其机器学习开发流程。
• 将机器学习流程映射到受CMM启发的成熟度等级，有助于在业务、数据科学和工程团队之间实现流程标准化。
• 从初始的非正式实践到优化的、数据驱动的运营的清晰流程演进，可提升模型的可靠性与可维护性。
• 该框架通过明确的反馈和度量机制，支持在模型准确性、公平性和领域特定性能方面的持续改进。
• 采用该框架的组织报告称，其业务目标与机器学习结果之间的对齐度更高，周期时间更短，模型质量更高。
• 在已定义和可量化管理的成熟度等级中，将公平性和偏差监控嵌入流程生命周期是可行且有效的。