[论文解读] Preliminary Systematic Literature Review of Machine Learning System Development Process
这项初步的系统文献综述识别了机器学习（ML）系统开发中的关键阶段、实践以及传统的软件工程原则。通过对9篇论文（7篇来自Scopus，2篇通过非正式审查获得）的分析，研究发现模型训练与评估是最常被强调的阶段，而数据关注、从小处着手或测量、关注分离以及目标导向类别的实践被广泛采用——这表明传统软件工程实践在机器学习开发环境中依然具有高度相关性。
Previous machine learning (ML) system development research suggests that emerging software quality attributes are a concern due to the probabilistic behavior of ML systems. Assuming that detailed development processes depend on individual developers and are not discussed in detail. To help developers to standardize their ML system development processes, we conduct a preliminary systematic literature review on ML system development processes. A search query of 2358 papers identified 7 papers as well as two other papers determined in an ad-hoc review. Our findings include emphasized phases in ML system developments, frequently described practices and tailored traditional software development practices.
研究动机与目标
- 为了理解由于缺乏标准化流程，当前机器学习（ML）系统开发中的实践情况。
- 为了从现有文献中识别机器学习系统开发中的重复阶段、问题和实践。
- 为了调查传统软件工程实践是否适用于并被适配于机器学习系统开发环境。
- 通过综合实证研究和流程导向研究的发现，支持开发人员标准化机器学习开发流程。
提出的方法
- 使用Scopus开展系统文献综述，采用定义明确的搜索查询，聚焦于'机器学习'、'软件工程'以及与流程、实践和实证研究相关的术语。
- 应用纳入与排除标准，筛选出仅关注机器学习系统开发流程的论文，排除算法提案、软件工程工具以及未讨论流程的质量问题相关研究。
- 对9篇选定论文（7篇来自Scopus，2篇来自非正式审查）进行主题分析，将问题和实践映射到机器学习系统开发的各个阶段。
- 将识别出的实践归类到已确立的软件工程类别中：数据关注、从小处着手或测量、关注分离、目标导向以及传统实践。
- 将研究发现映射到先前研究提出的阶段模型，以分析阶段频率、实践分布以及社区特定的关注重点。
- 使用定性综合方法识别重复出现的问题和实践，并评估传统软件工程概念在机器学习环境中的适应情况。
实验结果
研究问题
- RQ1RQ1：在机器学习系统开发流程中，哪些阶段被重点强调？
- RQ2RQ2：机器学习系统开发流程中包含哪些类型的实践？
- RQ3RQ3：机器学习系统开发流程是否包含传统软件工程实践？
主要发现
- 模型训练与评估阶段在多篇论文中被最频繁地描述，表明其在机器学习系统开发中的核心作用。
- 与数据关注类别相关的实践被应用于五个阶段，与从小处着手或测量类别相关的实践被应用于四个阶段，凸显了其在数据管理与迭代开发中的广泛适用性。
- 关注分离类实践被应用于模型训练、模型评估和模型部署阶段，表明核心软件工程原则已成功适配于机器学习环境。
- 目标导向类实践被专门针对模型评估阶段设计，其中两项实践明确将开发与可衡量目标联系起来。
- 传统软件工程实践——如需求获取、可追溯性管理、重构和测试——出现在五个阶段中，包括模型需求、数据收集和模型部署阶段。
- 尽管机器学习系统面临独特挑战，核心软件工程概念依然高度相关且实用，表明既有的实践可被有效适配于机器学习开发工作流。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。