[论文解读] A Meta-Summary of Challenges in Building Products with ML Components -- Collecting Experiences from 4758+ Practitioners

Nadia Nahar, Haoran Zhang+3 more|arXiv (Cornell University)|Mar 31, 2023

Software Engineering Research被引用 6

一句话总结

本文通过综合50项研究（涉及4,758名以上从业者）的见解，对构建机器学习驱动的软件产品所面临的挑战进行了元分析。研究在七个领域中识别并组织了500多个报告的挑战，揭示出数据质量、AI素养不足、工具支持不足以及系统级测试薄弱是主要障碍，对MLOps和AI工程领域的研究、教育及工具开发具有重要启示。

ABSTRACT

Incorporating machine learning (ML) components into software products raises new software-engineering challenges and exacerbates existing challenges. Many researchers have invested significant effort in understanding the challenges of industry practitioners working on building products with ML components, through interviews and surveys with practitioners. With the intention to aggregate and present their collective findings, we conduct a meta-summary study: We collect 50 relevant papers that together interacted with over 4758 practitioners using guidelines for systematic literature reviews. We then collected, grouped, and organized the over 500 mentions of challenges within those papers. We highlight the most commonly reported challenges and hope this meta-summary will be a useful resource for the research community to prioritize research and education in this field.

研究动机与目标

• 整合并系统化从业者在构建含机器学习组件的软件产品时所面临挑战的集体经验。
• 通过系统性回顾现有研究，识别机器学习开发全生命周期中反复出现且影响重大的挑战。
• 通过将挑战归类至主题领域并追溯至原始从业者来源，为未来的研究与教育提供支持。
• 突出系统级质量保障、公平性及安全测试等研究不足的领域。
• 基于最常报告的挑战，为工具开发、流程优化和教育干预提供优先参考。

提出的方法

• 采用既定指南进行系统性文献回顾，识别出50项涉及4,758名以上从业者的相关研究。
• 收集并分类了这些研究中报告的超过500项挑战。
• 将挑战划分为七个主题领域：需求、架构、模型开发、数据工程、质量保障、流程以及组织/团队。
• 将每项挑战映射至其原始来源，以确保可追溯性与可信度。
• 采用主题综合方法，识别出最常报告的挑战及其相互关系。
• 基于综合发现，提出针对研究、教育及工具开发的建议。

Figure 1. Research Method

实验结果

研究问题

• RQ1 根据从业者反馈，构建机器学习驱动的软件产品时最常报告的挑战是什么？
• RQ2 挑战在机器学习生命周期的不同阶段及组织背景中如何变化？
• RQ3 哪些挑战在现有工具与实践中缺乏足够研究或支持？
• RQ4 当前研究与实践中，在公平性、安全性与系统级质量等系统级属性方面存在哪些关键缺口？
• RQ5 研究界如何基于从业者识别的挑战来优先规划未来工作？

主要发现

• 最常报告的挑战是数据质量问题，尽管从业者认识到其重要性，但在管理数据问题方面仍面临困难。
• 大量从业者反映，利益相关者缺乏AI素养，导致期望不切实际且需求规格制定不佳。
• 生产环境中的监控与测试被广泛认为至关重要，但往往实施较晚或完全缺失，反映出流程成熟度的不足。
• 尽管数据版本控制、数据溯源追踪以及训练-服务偏差检测的重要性已被广泛认可，但许多团队仍缺乏相应的工具支持。
• 在模型开发中，亟需更完善的工程基础设施与标准化的代码质量实践，但目前各团队之间存在显著不一致性。
• 系统级质量保障——尤其是公平性、安全性和安全性方面——常被提及为挑战，但很少有组织已建立相关流程。

Figure 2. Year Distribution of the Selected Papers