[논문 리뷰] Requirements Engineering for Machine Learning: A Review and Reflection

Zhongyi Pei, Lin Liu외 2명|arXiv (Cornell University)|2022. 10. 03.

Software Engineering Techniques and Practices인용 수 4

한 줄 요약

이 논문은 디지털 전환의 맥락에서 기계학습 응용 프로그램의 요구사항 공학을 위한 체계적인 프레임워크를 제시하며, 소프트웨어 엔지니어와 도메인 전문가 간의 다도메인 협업을 강조한다. 도메인 모델과 종단 간 기계학습 기법을 비즈니스 워크플로우에 통합하는 단계별 프로세스를 제안하며, 데이터 기반 지능 시스템 분야의 산업 사례 연구를 통해 검증하였다.

ABSTRACT

Today, many industrial processes are undergoing digital transformation, which often requires the integration of well-understood domain models and state-of-the-art machine learning technology in business processes. However, requirements elicitation and design decision making about when, where and how to embed various domain models and end-to-end machine learning techniques properly into a given business workflow requires further exploration. This paper aims to provide an overview of the requirements engineering process for machine learning applications in terms of cross domain collaborations. We first review the literature on requirements engineering for machine learning, and then go through the collaborative requirements analysis process step-by-step. An example case of industrial data-driven intelligence applications is also discussed in relation to the aforementioned steps.

연구 동기 및 목표

• 디지털 전환의 배경에서 기계학습 응용 프로그램의 요구사항 공학에 대한 체계적인 접근이 증가하는 필요성을 해결한다.
• 소프트웨어 엔지니어 팀과 도메인 전문가 팀 간의 도메인 지식과 기계학습 시스템 설계를 조율하는 데 발생하는 과제를 규명한다.
• 비즈니스 워크플로우에 도메인 모델과 기계학습 기법을 통합하는 협업 기반의 요구사항 분석 프로세스를 개발한다.
• 실제 기계학습 응용 프로그램에서 요구사항을 도출하고 명시하는 데 실용적이고 단계적인 방법론을 제공한다.
• 데이터 기반 지능 분야의 산업 사례 연구를 통해 제안된 접근 방식의 적용 가능성과 효과성을 입증한다.

제안 방법

• 소프트웨어 공학 및 기계학습 분야에서 기계학습을 위한 요구사항 공학에 관한 종합적인 문헌 리뷰를 수행한다.
• 도메인 전문가와 기계학습 전문가가 참여하는 체계적이고 협업 기반의 요구사항 분석 프로세스를 제안한다.
• 반복적 개선을 통해 도메인 모델과 종단 간 기계학습 파이프라인을 비즈니스 프로세스 워크플로우에 통합한다.
• 실제 기계학습 응용 프로그램에 적용된 산업 사례 연구를 통해 프레임워크의 실용성을 검증한다.
• 스테이크홀더 간의 반복적 피드백 루프를 활용하여 요구사항을 정교화하고 비즈니스 목표 및 기술 목표에 부합하도록 보장한다.
• 유지보수성과 감사 가능성 지원을 위해 요구사항 라이프사이클 전반에 걸쳐 결정의 추적 가능성과 문서화를 강조한다.

실험 결과

연구 질문

• RQ1 산업 현장에서 기계학습 시스템 개발을 효과적으로 지원하기 위해 요구사항 공학 관행은 어떻게 적응시켜야 하는가?
• RQ2 요구사항 도출 과정에서 도메인 지식과 기계학습 모델 설계를 조율하는 데 발생하는 주요 과제는 무엇인가?
• RQ3 기계학습 요구사항 공학에서 소프트웨어 엔지니어와 도메인 전문가 간의 다도메인 협업은 어떻게 체계적으로 지원할 수 있는가?
• RQ4 도메인 모델은 종단 간 기계학습 파이프라인의 요구사항을 어떻게 형성하는가?
• RQ5 제안된 프레임워크는 실생활 산업 응용 프로그램에서 어떻게 검증할 수 있는가?

주요 결과

• 도메인 모델과 기계학습 파이프라인의 통합은 비즈니스 목표와 시스템 기능 간의 일치를 크게 향상시킨다.
• 협업 기반의 요구사항 공학 프로세스는 기계학습 시스템 개발 과정에서 모호성을 감소시키고 이해관계자의 참여도를 높인다.
• 제안된 프레임워크는 비즈니스 요구사항에서 모델 설계 및 구현 결정에 이르기까지 체계적인 추적 가능성을 제공한다.
• 산업 사례 연구를 통해 체계적인 요구사항 공학이 유지보수성과 감사 가능성이 높은 기계학습 시스템을 도출함을 입증하였다.
• 도메인 전문가와 기계학습 엔지니어가 반복적이고 공동의 사양 활동에 참여함으로써 요구사항 도출 과제가 감소하였다.
• 프레임워크는 요구사항의 초기 도출부터 배포 및 모니터링에 이르기까지 종단 간 라이프사이클 관리를 지원한다.