[논문 리뷰] Preliminary Systematic Literature Review of Machine Learning System Development Process

Yasuhiro Watanabe, Hironori Washizaki외 6명|arXiv (Cornell University)|2019. 10. 12.

Software Engineering Research참고 문헌 17인용 수 7

한 줄 요약

이 초보 체계적 문헌 고찰은 기계학습(ML) 시스템 개발에서 핵심 단계, 실천 방식, 기존 소프트웨어 공학 원칙을 규명한다. 9篇의 논문(Scopus에서 7편, 적합성 검토를 통해 2편)을 분석한 결과, 모델 훈련 및 평가가 가장 빈번하게 강조되며, 데이터 관련 문제, 작게 시작하거나 측정하기, 고려사항 분리, 목표 중심 분류에서의 실천 방식이 널리 채택된 것으로 나타나, 기존 소프트웨어 공학 실천 방식이 ML 개발 환경에서 여전히 매우 관련성이 높다는 것을 보여준다.

ABSTRACT

Previous machine learning (ML) system development research suggests that emerging software quality attributes are a concern due to the probabilistic behavior of ML systems. Assuming that detailed development processes depend on individual developers and are not discussed in detail. To help developers to standardize their ML system development processes, we conduct a preliminary systematic literature review on ML system development processes. A search query of 2358 papers identified 7 papers as well as two other papers determined in an ad-hoc review. Our findings include emphasized phases in ML system developments, frequently described practices and tailored traditional software development practices.

연구 동기 및 목표

• 표준화된 프로세스가 부족한 데 기인하여 기계학습(ML) 시스템 개발의 현재 실천 방식을 이해하기 위해
• 기존 문헌에서 기계학습 시스템 개발의 반복되는 단계, 문제, 실천 방식을 규명하기 위해
• 기존 소프트웨어 공학 실천 방식이 기계학습 시스템 개발 환경에서 적용되고 적응되었는지 조사하기 위해
• 실험적 및 프로세스 중심 연구의 통합된 결과를 바탕으로 개발자가 ML 개발 프로세스를 표준화하는 데 지원하기 위해

제안 방법

• 기계학습, 소프트웨어 공학, 그리고 프로세스, 실천 방식, 실험 연구와 관련된 용어를 대상으로 한 정의된 검색 쿼리를 사용해 Scopus를 활용한 체계적 문헌 고찰을 수행했다.
• 기계학습 시스템 개발 프로세스에만 집중된 논문을 걸러내기 위해 포함 및 배제 기준을 적용하였으며, 알고리즘 제안, 소프트웨어 공학 도구, 또는 프로세스 논의 없이 품질 문제에만 초점을 맞춘 논문은 제외했다.
• 선택된 9편의 논문(Scopus에서 7편, 적합성 검토를 통해 2편)에 대한 주제 분석을 수행하여 기계학습 시스템 개발 단계에 문제와 실천 방식을 매핑했다.
• 식별된 실천 방식을 기존 소프트웨어 공학 분류에 따라 분류: 데이터 관련 문제, 작게 시작하거나 측정하기, 고려사항 분리, 목표 중심, 기존 실천 방식.
• 이전 연구에서 도출된 단계 모델에 결과를 매핑하여 단계 빈도, 실천 방식 분포, 커뮤니티별 특화 강조를 분석했다.
• 정성적 종합을 통해 반복되는 문제와 실천 방식을 규명하고, 기존 소프트웨어 공학 개념이 기계학습 환경에서 어떻게 적응되었는지 평가했다.

실험 결과

연구 질문

• RQ1 RQ1: 기계학습 시스템 개발 프로세스에서 어떤 단계가 강조되는가?
• RQ2 RQ2: 기계학습 시스템 개발 프로세스에 포함된 실천 방식의 유형은 무엇인가?
• RQ3 RQ3: 기계학습 시스템 개발 프로세스는 기존 소프트웨어 공학 실천 방식을 포함하는가?

주요 결과

• 모델 훈련 및 평가 단계는 여러 논문에서 가장 자주 기술된 단계로, 기계학습 시스템 개발에서의 중심적 역할을 나타낸다.
• 데이터 관련 문제 및 작게 시작하거나 측정하기 분류의 실천 방식은 각각 5개 및 4개의 단계에서 활용되며, 데이터 관리 및 반복적 개발에서의 광범위한 관련성을 강조한다.
• 고려사항 분리 실천 방식은 모델 훈련, 모델 평가, 모델 배포 단계에 적용되어, 핵심 소프트웨어 공학 원리가 기계학습 환경에 어떻게 적응되었는지를 보여준다.
• 목표 중심 실천 방식은 모델 평가 단계에 특화되어 있으며, 두 가지 실천 방식이 개발을 측정 가능한 목표와 직접 연결한다.
• 요구사항 확보, 추적성 관리, 리팩터링, 테스팅과 같은 기존 소프트웨어 공학 실천 방식은 모델 요구사항, 데이터 수집, 모델 배포 단계를 포함해 5개의 단계에 존재한다.
• 기계학습 시스템에서의 고유한 과제가 존재하더라도 핵심 소프트웨어 공학 개념은 여전히 매우 관련성 있고 유용하며, 기존 실천 방식이 기계학습 개발 워크플로우에 효과적으로 적응될 수 있음을 시사한다.