[논문 리뷰] Machine Learning and value generation in Software Development: a survey

Barakat J. Akinsanya, Luiz Jonatã Pires de Araújo외 7명|arXiv (Cornell University)|2019. 01. 01.

Software Engineering Research참고 문헌 43인용 수 62

한 줄 요약

이 종합 검토는 2000년에서 2019년 사이에 소프트웨어 개발 분야에서 기계학습(ML)의 적용을 조사하며, 노력 추정, 위험 예측, 결함 탐지에 중점을 둔다. 신경망, 랜덤 포레스트, 사례 기반 추론 등의 ML 기법을 평가한 결과, 통제된 연구에서는 뛰어난 성능를 보였지만, 작은 데이터셋과 오래된 데이터셋, 실제 프로젝트 간 일반화 능력 부족으로 인해 산업 현장에서의 도입은 제한적임을 확인하였다.

ABSTRACT

Machine Learning (ML) has become a ubiquitous tool for predicting and classifying data and has found application in several problem domains, including Software Development (SD). This paper reviews the literature between 2000 and 2019 on the use the learning models that have been employed for programming effort estimation, predicting risks and identifying and detecting defects. This work is meant to serve as a starting point for practitioners willing to add ML to their software development toolbox. It categorises recent literature and identifies trends and limitations. The survey shows as some authors have agreed that industrial applications of ML for SD have not been as popular as the reported results would suggest. The conducted investigation shows that, despite having promising findings for a variety of SD tasks, most of the studies yield vague results, in part due to the lack of comprehensive datasets in this problem domain. The paper ends with concluding remarks and suggestions for future research.

연구 동기 및 목표

• 2000년에서 2019년 사이에 소프트웨어 개발 작업에 기계학습을 적용하는 최신 기술의 현황을 분석하기 위해.
• 소프트웨어 프로젝트에서 노력 추정, 위험 예측, 결함 탐지에 가장 효과적인 ML 기법을 특정하기 위해.
• 학술 연구에서 보고된 높은 성능와 소프트웨어 공학 분야에서의 기계학습 도입에 대한 실제 산업적 적용 간 격차를 평가하기 위해.
• 작은 데이터셋과 오래된 데이터셋 등 데이터 한계가 신뢰할 수 있는 모델 일반화에 있어 핵심 장벽임을 부각하기 위해.
• 향후 연구 방향을 제안하기 위해, 더 큰 대표성 있는 데이터셋과 소프트웨어 개발 워크플로우에 현대적 ML 기법(예: 강화 학습, 딥 러닝)의 통합을 포함하기 위해.

제안 방법

• 2000년에서 2019년 사이에 소프트웨어 공학 분야에서 기계학습 응용에 관한 동료 심사 논문을 체계적으로 검토하기 위해.
• 세 핵심 영역인 노력 추정, 위험 예측, 결함 탐지에서 사용된 ML 기법을 분류하기 위해.
• MMRE(상대 오차의 평균 크기)와 AUC(곡선 아래 면적)와 같은 성능 지표를 연구 간 비교 평가하기 위해.
• 지도 학습(회귀 및 분류), 신경망, 사례 기반 추론, 앙상블 방법 등 모델 유형을 분석하기 위해.
• 데이터 품질과 데이터셋 크기가 다양한 소프트웨어 개발 작업에서 모델 신뢰성과 일반화 능력에 미치는 영향을 평가하기 위해.
• 모델 인기 추세와 연구 격차를 분석하여, 특히 소프트웨어 공학 분야에서 딥 러닝과 강화 학습의 사용에 초점을 맞추기 위해.

실험 결과

연구 질문

• RQ1 소프트웨어 개발에서 프로그래밍 노력 추정에 가장 효과적인 기계학습 기법은 무엇인가요?
• RQ2 기계학습 모델은 일정 및 예산 초과와 같은 프로젝트 위험을 얼마나 잘 예측할 수 있나요?
• RQ3 결함 예측에 가장 정확한 기계학습 접근 방식은 무엇이며, 어떻게 불균형한 데이터셋을 다루나요?
• RQ4 학술 연구 결과에서 보여지는 높은 성능에도 불구하고, 소프트웨어 개발 분야에서의 기계학습 도입 비율이 낮은 이유는 무엇인가요?
• RQ5 특히 데이터셋 품질과 대표성 측면에서 현재 연구의 핵심 한계는 무엇인가요?

주요 결과

• 특히 랜덤 포레스트와 서포트 벡터 머신이 결함 탐지 및 위험 추정에서 전통적 모델보다 끊임없이 뛰어난 성능를 보였다.
• 신경망, 특히 캐스케이드 상관 신경망은 고전적 회귀 모델 대비 노력 추정에서 뛰어난 정확도를 보였다.
• 사례 기반 추론은 제한된 데이터로도 높은 정확도를 달성하여 데이터 부족 환경에서의 노력 추정에 적합하다.
• 강력한 학술 결과에도 불구하고 산업 현장에서의 도입은 여전히 낮다—63%의 에이전드 프로젝트 관리자는 여전히 플래닝 포커를 사용하고 있으며, 38%는 전문가 추정을 활용한다.
• 크고 최신이며 대표성 있는 데이터셋이 부족한 것이 신뢰할 수 있는 모델 일반화 및 산업 현장 배포에 있어 주요 장벽이다.
• 강화 학습과 고급 딥 러닝 아키텍처(CNN, RNN 등)는 소프트웨어 개발 작업에서 거의 탐색되지 않은 상태로, 상당한 연구 격차가 존재한다.