[论文解读] An Empirical Study of Software Architecture for Machine Learning.

Alex Serban, Joost Visser|arXiv (Cornell University)|May 26, 2021

Software Engineering Research被引用 8

一句话总结

本文提出了一种基于混合方法研究（结合文献综述、从业者访谈和调查）的实证框架，用于稳健地重构软件系统以集成机器学习（ML）组件。该研究识别出20项架构挑战及其解决方案，将架构策略与可扩展性、隐私等质量属性相关联，并表明传统关注点（如耦合）在ML系统中依然至关重要，同时ML特有的问题（如持续再训练）也具有关键影响。

ABSTRACT

Specific developmental and operational characteristics of machine learning (ML) components, as well as their inherent uncertainty, demand robust engineering principles are used to ensure their quality. We aim to determine how software systems can be (re-) architected to enable robust integration of ML components. Towards this goal, we conducted a mixed-methods empirical study consisting of (i) a systematic literature review to identify the challenges and their solutions in software architecture forML, (ii) semi-structured interviews with practitioners to qualitatively complement the initial findings, and (iii) a survey to quantitatively validate the challenges and their solutions. In total, we compiled and validated twenty challenges and solutions for (re-) architecting systems with ML components. Our results indicate, for example, that traditional software architecture challenges (e.g., component coupling) also play an important role when using ML components; along new ML specific challenges (e.g., the need for continuous retraining). Moreover, the results indicate that ML heightened decision drivers, such as privacy, play a marginal role compared to traditional decision drivers, such as scalability or interoperability. Using the survey, we were able to establish a link between architectural solutions and software quality attributes; which enabled us to provide twenty architectural tactics used for satisfying individual quality requirements of systems with ML components. Altogether, the results can be interpreted as an empirical framework that supports the process of (re-) architecting software systems with ML components.

研究动机与目标

• 识别并验证将机器学习组件集成到软件系统中的架构挑战与解决方案。
• 理解传统软件架构关注点如何与ML特有的挑战（如模型再训练和数据不确定性）相互作用。
• 评估决策驱动因素（如隐私、可扩展性、互操作性）在ML系统架构决策中的相对重要性。
• 实证地将架构策略与包含ML组件的系统的特定质量属性关联起来。
• 开发一个经验证的、基于证据的框架，用于（重新）架构包含ML组件的软件系统。

提出的方法

• 开展系统性文献综述，以识别机器学习软件架构领域中已有的挑战与解决方案。
• 对从业者进行半结构化访谈，定性地探索并扩展文献综述的发现。
• 实施定量调查，以在更广泛的从业者群体中验证已识别的挑战与解决方案。
• 将研究发现综合为20项架构挑战及其对应解决方案，基于实证证据。
• 利用调查数据将架构解决方案映射到特定质量属性（如可扩展性、隐私），以建立因果关联。
• 开发一个实证框架，支持基于质量驱动设计决策的ML集成系统系统性（重新）架构。

实验结果

研究问题

• RQ1 在将机器学习组件集成到软件系统的过程中，其关键架构挑战是什么？文献中提出了哪些解决方案？
• RQ2 从业者经验与优先事项在多大程度上与文献中识别出的发现一致或存在分歧，特别是在隐私、可扩展性和互操作性等决策驱动因素方面？
• RQ3 传统软件架构关注点（如耦合、模块化）在包含ML组件的系统中仍有多大的相关性？
• RQ4 哪些架构策略在满足ML集成系统中特定非功能性质量属性方面最为有效？
• RQ5 如何将架构解决方案实证地与包含机器学习组件的系统中的质量属性关联起来？

主要发现

• 即使在包含机器学习组件的系统中，传统软件架构挑战（如组件耦合）依然具有显著影响。
• ML特有的挑战，尤其是模型持续再训练的需求，被一致认定为关键的架构关注点。
• 隐私作为决策驱动因素，其影响力相对较小，相较于可扩展性和互操作性等传统关注点而言。
• 已明确建立特定架构策略与ML集成系统中性能、可靠性、可维护性等质量属性之间的关联。
• 本研究通过混合方法研究验证了二十项架构挑战与解决方案，形成了一个全面、基于证据的ML系统（重新）架构框架。
• 该框架使从业者能够通过将策略映射到ML增强系统中的具体非功能性需求，实现基于质量的架构决策。