[논문 리뷰] Machine Learning for Software Engineering: A Tertiary Study

Zoe Kotti, Rafaila Galanopoulou외 1명|arXiv (Cornell University)|2022. 11. 17.

Software Engineering Research참고 문헌 176인용 수 4

한 줄 요약

이 종합 연구는 2009년에서 2022년 사이에 출판된 소프트웨어 공학(Software Engineering, SE) 분야의 기계학습(Machine Learning, ML)에 관한 83篇의 종합 논문을 종합하여, 6,117개의 주요 연구를 분석하여 추세, 과제, 연구 격차를 규명한다. 연구 결과, ML은 소프트웨어 품질 및 테스팅 분야에 가장 널리 적용되고 있으며, 인간 중심의 SE 분야에서는 여전히 부족한 편이다. 이를 바탕으로 데이터 파이프라인 개선, 점진적 학습 도입, 산업계 협력 강화 등의 핵심 조치를 제안하여 ML을 통한 SE 응용의 발전을 도모한다.

ABSTRACT

Machine learning (ML) techniques increase the effectiveness of software engineering (SE) lifecycle activities. We systematically collected, quality-assessed, summarized, and categorized 83 reviews in ML for SE published between 2009-2022, covering 6,117 primary studies. The SE areas most tackled with ML are software quality and testing, while human-centered areas appear more challenging for ML. We propose a number of ML for SE research challenges and actions including: conducting further empirical validation and industrial studies on ML; reconsidering deficient SE methods; documenting and automating data collection and pipeline processes; reexamining how industrial practitioners distribute their proprietary data; and implementing incremental ML approaches.

연구 동기 및 목표

• 기존의 종합 문헌을 종합하여 소프트웨어 공학(Software Engineering, SE) 분야의 기계학습(Machine Learning, ML) 응용 현황을 체계적이고 근거 기반으로 개괄하는 것.
• 대규모 종합 논문 리뷰를 통해 소프트웨어 공학 분야에서 가장 자주 다뤄지는 영역, 기계학습 기법, 연구 격차를 규명하는 것.
• 데이터 품질 부족, 산업적 관련성 부족, 부족한 경험적 검증 등의 과제를 부각하여, ML 기반 SE 연구에서의 문제점을 분석하는 것.
• ML의 강건성, 확장성, 실생활 적용 가능성을 향상시키기 위한 실천 가능한 연구 전략 및 산업 협력 방안을 제안하는 것.
• 소프트웨어 공학을 위한 기계학습(Machine Learning for SE)과 기계학습을 위한 소프트웨어 공학(SE for ML)이라는 유사 분야를 명확히 구분하여 연구 범위와 방향의 명확성을 확보하는 것.

제안 방법

• PRISMA 및 종합 연구 지침을 따르며, 2009년에서 2022년 사이에 출판된 소프트웨어 공학 분야의 기계학습에 관한 83편의 종합 논문을 체계적으로 수집하고 품질 평가를 실시하였다.
• 소프트웨어 공학 지식 영역(SWEBOK 지식 영역, KAs)과 하위 분야를 활용하여 기계학습 응용을 소프트웨어 공학 라이프사이클 전반에 걸쳐 매핑하였다.
• 학습 유형, 작업 유형, 모델 유형, 데이터 유형에 기반한 사각형 기계학습 분류 체계를 적용하여 종합 논문에서 사용된 기계학습 기법을 분류하였다.
• 저자 간의 공감대 형성과 반복적인 수작업 코드화를 통해 각 종합 논문에서 추출한 소프트웨어 공학 작업, 연구 주제, 기계학습 기법을 분석하였다.
• 문서화 수준, 파이프라인 자동화, 데이터 공유 관행을 평가하여 데이터 수집 방식, 모델 일반화 능력, 산업적 관련성의 정도를 평가하였다.
• 연구자 및 실무자에게 유용한 통합 권고안을 도출하기 위해 연구 결과를 종합하였으며, 경험적 검증, 산업 사례 연구, 데이터 관리 향상의 필요성 등을 포함하였다.

실험 결과

연구 질문

• RQ1 종합 논문에 따르면, 기계학습 응용에서 가장 자주 대상이 되는 소프트웨어 공학 지식 영역과 작업은 무엇인가요?
• RQ2 소프트웨어 공학 분야에서 주로 사용되는 기계학습 기법 유형(예: 지도 학습, 온라인 학습 등)은 무엇이며, 그 수용도와 일반화 능력 측면에서 어떻게 비교될 수 있나요?
• RQ3 기계학습이 소프트웨어 공학 분야에 산업적으로 도입되는 데 있어 주요 장애 요인은 무엇인가요? 특히 데이터 품질, 파이프라인 자동화, 기밀 데이터 공유 부족 등의 문제를 중심으로 분석합니다.
• RQ4 소프트웨어 공학 방법론과 데이터 수집 방식의 열악함은 소프트웨어 공학 분야의 기계학습 모델의 신뢰성과 확장성에 어떤 영향을 미치나요?
• RQ5 학계의 기계학습 연구와 산업계의 소프트웨어 공학 실무 간 격차를 메울 수 있는 연구 전략과 협력 방안은 무엇인가요?

주요 결과

• 기계학습을 통한 소프트웨어 공학 연구의 대부분은 소프트웨어 품질 및 테스팅에 집중되어 있으며, 데이터의 주관성과 레이블링 과제로 인해 인간 중심의 분야(예: 소프트웨어 요구사항, 전문적 실무)에는 상대적으로 관심이 적다.
• 지도 학습과 분류 작업이 지배적이며, 실시간 및 변화하는 시스템에 유리한 점진적 학습 기법의 장점이 입증됨에도 불구하고, 모델 기반 학습이 더 선호되고 있다.
• 데이터 파이프라인의 투명성에 심각한 격차가 존재하며, 많은 연구에서 데이터 수집 과정이 문서화되어 있지 않거나 자동화되어 있지 않아 재현성과 확장성에 악영향을 미친다.
• 기밀 데이터 공유 부족으로 산업적 관련성이 저하되어 있으며, 이는 실제 소프트웨어 공학 환경에서의 모델 성능 향상과 일반화 능력 제약을 초래한다.
• 노후화되고 부적절한 소프트웨어 공학 방법론이 강건한 기계학습 모델 개발을 저해하고 있으며, 이는 방법론 재평가와 함께 하이퍼파rameter 튜닝, 클래스 불균형 처리 개선의 필요성을 시사한다.
• 하이브리드, 앙상블, 점진적 기계학습 기법은 아직 탐색되지 않은 잠재력 있는 연구 분야이며, 소프트웨어 공학 환경에서의 모델 신뢰성과 적응성 향상에 기여할 수 있다.