[论文解读] Engineering AI Systems: A Research Agenda

Jan Bosch, Ivica Crnković+1 more|arXiv (Cornell University)|Jan 16, 2020

Big Data and Business Intelligence参考文献 12被引用 14

一句话总结

本文提出了一套基于十多个行业案例研究的系统化工程方法，用于构建和演化包含机器学习（ML）组件的AI系统。该方法识别了数据质量、模型性能、部署和合规性等方面的关键挑战，并提出了一个全面的研究议程，以解决AI工程在工业应用中的开放性问题。

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) are increasingly broadly adopted in industry, However, based on well over a dozen case studies, we have learned that deploying industry-strength, production quality ML models in systems proves to be challenging. Companies experience challenges related to data quality, design methods and processes, performance of models as well as deployment and compliance. We learned that a new, structured engineering approach is required to construct and evolve systems that contain ML/DL components. In this paper, we provide a conceptualization of the typical evolution patterns that companies experience when employing ML as well as an overview of the key problems experienced by the companies that we have studied. The main contribution of the paper is a research agenda for AI engineering that provides an overview of the key engineering challenges surrounding ML solutions and an overview of open items that need to be addressed by the research community at large.

研究动机与目标

• 通过识别AI系统工程中的系统性挑战，弥合ML研究与工业部署之间的差距。
• 基于实证案例研究，理解企业在将ML集成到生产系统时面临的重复性问题。
• 定义一个结构化的ML系统工程框架，以支持现实应用中系统的可靠性、可扩展性和合规性。
• 通过优先级明确的研究议程，引导研究界解决AI工程中的关键开放性问题。
• 促进系统化方法的发展，以支持工业界ML驱动系统的系统设计、部署和持续演化。

提出的方法

• 对十多个工业案例研究进行定性分析，识别ML系统开发与部署中的重复性挑战。
• 构建工业中AI系统典型演化路径的模型，涵盖从原型设计到生产部署及维护的全过程。
• 识别在数据管理、模型设计、性能监控、部署流水线和法规合规性等方面的关键工程挑战。
• 围绕核心主题提出研究议程：数据工程、模型生命周期管理、系统架构和治理。
• 整合软件工程、机器学习和AI的洞见，定义AI系统工程的多学科方法。
• 基于行业经验的综合分析，优先确定能够弥合学术ML研究与工业实践之间差距的研究方向。

实验结果

研究问题

• RQ1 企业在将机器学习模型部署到生产系统时，面临的最常见挑战是什么？
• RQ2 数据质量、模型性能和部署复杂性如何影响工业中AI系统的可靠性与可维护性？
• RQ3 为支持软件系统中ML组件的端到端生命周期，需要哪些系统性工程实践？
• RQ4 现有软件工程原则如何适应机器学习组件的独特特性？
• RQ5 为实现在工业环境中可信、可扩展且合规的AI系统，必须优先关注哪些研究领域？

主要发现

• 企业经常面临数据质量问题，导致生产环境中模型不稳定和泛化能力差。
• 由于概念漂移以及缺乏持续监控和再训练流水线，模型性能随时间退化是主要问题。
• ML模型在现有软件系统中的部署与集成往往缺乏版本控制、测试和CI/CD支持，呈现临时性特征。
• 由于缺乏模型可解释性和可审计性，遵守GDPR等法规成为重大挑战。
• 必须采用结构化的工程方法——将传统软件工程扩展以涵盖ML特异性问题——以实现工业规模的AI应用。
• 研究议程识别出10项关键研究领域，包括数据血缘、模型监控和自动化再训练，这些是未来进展的关键。