[논문 리뷰] An Empirical Study of Software Architecture for Machine Learning.

Alex Serban, Joost Visser|arXiv (Cornell University)|2021. 05. 26.

Software Engineering Research인용 수 8

한 줄 요약

이 논문은 문헌 고찰, 전문가 인터뷰, 설문 조사 등 혼합 방법 연구를 바탕으로 기계학습(ML) 구성 요소를 소프트웨어 시스템에 견고하게 통합하기 위한 경험적 프레임워크를 제시한다. 이 프레임워크는 확장성 및 프라이버시와 같은 품질 특성과 연관된 아키텍처 전략을 제시하며, 기존의 결합도 문제와 같은 전통적 문제들이 지속적으로 중요함을 입증한다. 또한 지속적인 재학습과 같은 ML 전용 문제와 함께 고려되어야 할 핵심 요소임을 확인한다.

ABSTRACT

Specific developmental and operational characteristics of machine learning (ML) components, as well as their inherent uncertainty, demand robust engineering principles are used to ensure their quality. We aim to determine how software systems can be (re-) architected to enable robust integration of ML components. Towards this goal, we conducted a mixed-methods empirical study consisting of (i) a systematic literature review to identify the challenges and their solutions in software architecture forML, (ii) semi-structured interviews with practitioners to qualitatively complement the initial findings, and (iii) a survey to quantitatively validate the challenges and their solutions. In total, we compiled and validated twenty challenges and solutions for (re-) architecting systems with ML components. Our results indicate, for example, that traditional software architecture challenges (e.g., component coupling) also play an important role when using ML components; along new ML specific challenges (e.g., the need for continuous retraining). Moreover, the results indicate that ML heightened decision drivers, such as privacy, play a marginal role compared to traditional decision drivers, such as scalability or interoperability. Using the survey, we were able to establish a link between architectural solutions and software quality attributes; which enabled us to provide twenty architectural tactics used for satisfying individual quality requirements of systems with ML components. Altogether, the results can be interpreted as an empirical framework that supports the process of (re-) architecting software systems with ML components.

연구 동기 및 목표

• 기계학습 구성 요소를 소프트웨어 시스템에 통합하기 위한 아키텍처적 도전 과제와 해결책을 규명하고 검증하는 것.
• 기존 소프트웨어 아키텍처 고려 사항이 모델 재학습 및 데이터 불확실성과 같은 ML 전용 도전 과제와 어떻게 상호작용하는지 이해하는 것.
• 기계학습 시스템 아키텍처 결정에서 중요한 의사결정 기준(예: 프라이버시, 확장성, 상호운용성)의 상대적 중요도를 평가하는 것.
• 기계학습 구성 요소를 포함한 시스템에서 아키텍처 전략과 특정 품질 특성 간의 경험적 연관성을 설정하는 것.
• 기계학습 구성 요소를 포함하는 소프트웨어 시스템의 (재)아키텍처 설계를 지원하는 검증된, 근거 기반의 프레임워크를 개발하는 것.

제안 방법

• 기계학습을 위한 소프트웨어 아키텍처에서의 기존 도전 과제와 해결책을 규명하기 위해 체계적인 문헌 고찰을 수행하였다.
• 문헌 고찰 결과를 질적으로 확장하고 탐색하기 위해 전문가 대상 반구조화 인터뷰를 실시하였다.
• 더 넓은 전문가 집단을 대상으로 도전 과제와 해결책을 검증하기 위해 정량적 설문 조사를 실시하였다.
• 경험적 근거에 기반하여 20개의 아키텍처 도전 과제와 해당 해결책을 통합한 집합을 도출하였다.
• 설문 조사 데이터를 활용하여 특정 품질 특성(예: 확장성, 프라이버시)에 대한 아키텍처 솔루션을 매핑하여 인과 관계를 설정하였다.
• 품질 중심 설계 결정을 기반으로 기계학습 통합 시스템의 체계적 (재)아키텍처 설계를 지원하는 경험적 프레임워크를 개발하였다.

실험 결과

연구 질문

• RQ1 기계학습 구성 요소를 소프트웨어 시스템에 통합하는 데 있어 핵심 아키텍처 도전 과제는 무엇이며, 문헌에서 제안된 해결책은 무엇인가?
• RQ2 전문가의 경험과 우선순위는 프라이버시, 확장성, 상호운용성 등의 의사결정 기준을 중심으로 문헌에서 규명된 내용과 일치하거나 상이한가?
• RQ3 기존 소프트웨어 아키텍처 고려 사항(예: 결합도, 모듈성)이 기계학습 구성 요소를 포함한 시스템에서도 여전히 관련성이 있는가?
• RQ4 기계학습 통합 시스템에서 특정 비기능적 품질 특성(예: 성능, 신뢰성, 유지보수성)을 충족시키는 데 가장 효과적인 아키텍처 전략은 무엇인가?
• RQ5 기계학습 구성 요소를 포함한 시스템에서 아키텍처 솔루션을 어떻게 경험적으로 품질 특성과 연결할 수 있는가?

주요 결과

• 기계학습 구성 요소를 포함한 시스템에서도 컴포넌트 결합도와 같은 전통적 소프트웨어 아키텍처 문제들이 여전히 중요한 도전 과제로 남아 있다.
• 지속적인 모델 재학습이 필요하다는 점은 기계학습 전용 도전 과제 중에서 가장 뚜렷하게 인식된 핵심 아키텍처 고려 사항이었다.
• 프라이버시는 확장성 및 상호운용성과 같은 전통적 고려 사항에 비해 상대적으로 영향력이 낮은 의사결정 기준으로 부상하였다.
• 기계학습 통합 시스템에서 성능, 신뢰성, 유지보수성과 같은 특정 품질 특성과 특정 아키텍처 전략 간에 명확한 연관성이 확인되었다.
• 혼합 방법 연구를 통해 이 연구는 20개의 아키텍처 도전 과제와 해결책을 검증하였으며, (재)아키텍처 설계를 위한 종합적이고 경험 기반의 프레임워크를 구축하였다.
• 이 프레임워크는 기계학습 기반 시스템에서 특정 비기능 요구사항에 맞는 전략을 매핑함으로써 전문가들이 품질 중심의 아키텍처 결정을 내릴 수 있도록 지원한다.