[논문 리뷰] Machine Learning Techniques for Software Quality Assurance: A Survey

Safa Omri, Carsten Sinz|arXiv (Cornell University)|2021. 04. 29.

Software Engineering Research참고 문헌 78인용 수 8

한 줄 요약

이 종합 검토는 소프트웨어 품질 보증을 위한 기계학습 기법을 다루며, 결함 예측과 테스트 케이스 우선순위 지정에 초점을 맞춘다. 딥 러닝이 코드 의미를 포착함으로써 결함 예측 성능을 향상시킨다는 점을 강조하며, 신경망과 베이지안 네트워크와 같은 기계학습 기법이 높은 결함 탐지 비율을 유지하면서도 테스트 케이스 우선순위 지정의 효율성을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Over the last years, machine learning techniques have been applied to more and more application domains, including software engineering and, especially, software quality assurance. Important application domains have been, e.g., software defect prediction or test case selection and prioritization. The ability to predict which components in a large software system are most likely to contain the largest numbers of faults in the next release helps to better manage projects, including early estimation of possible release delays, and affordably guide corrective actions to improve the quality of the software. However, developing robust fault prediction models is a challenging task and many techniques have been proposed in the literature. Closely related to estimating defect-prone parts of a software system is the question of how to select and prioritize test cases, and indeed test case prioritization has been extensively researched as a means for reducing the time taken to discover regressions in software. In this survey, we discuss various approaches in both fault prediction and test case prioritization, also explaining how in recent studies deep learning algorithms for fault prediction help to bridge the gap between programs' semantics and fault prediction features. We also review recently proposed machine learning methods for test case prioritization (TCP), and their ability to reduce the cost of regression testing without negatively affecting fault detection capabilities.

연구 동기 및 목표

• 소프트웨어 품질 보증 분야에서 기계학습 응용의 최신 동향을 분석하며, 특히 결함 예측과 테스트 케이스 우선순위 지정에 중점을 둔다.
• 기존의 특징 기반 결함 예측의 한계를 특정화하며, 유사한 구조를 가졌지만 의미적으로 다른 코드 간의 차이를 포착하지 못하는 문제점을 밝힌다.
• 딥 러닝이 소스 코드로부터 의미론적 인식 특징을 학습함으로써 결함 예측 정확도를 향상시키는 데 얼마나 효과적인지 평가한다.
• 재현 테스트 비용을 줄이되 결함 탐지 성능을 저하시키지 않는 방식으로 기계학습 기법이 테스트 케이스 우선순위 지정에 어떻게 기여하는지 평가한다.

제안 방법

• 소프트웨어 품질 보증 분야에서 기계학습을 다룬 100여 편 이상의 논문을 대상으로 한 체계적 검토.
• 결함 예측에 사용되는 전통적 특징(예: 코드 복잡도, 채움 지표, 프로세스 메트릭스)의 분류 및 의미론적 정보를 포착하지 못하는 한계 분석.
• 소스 코드로부터 의미론적 표현을 학습함으로써 특징의 구분 능력을 향상시키기 위한 딥 러닝 모델(예: 오토인코더, RNN, 코드 임베딩) 평가.
• 신경망, 베이지안 네트워크, 유전 알고리즘, 강화 학습을 포함한 기계학습 기법을 활용한 테스트 케이스 우선순위 지정 기법에 대한 종합 검토.
• 이전 실패 기록, 실행 커버리지 또는 결함 탐지 잠재력 기반으로 테스트 케이스를 순위 매기는 데 사용되는 서rogate 함수 분석.
• 분류 알고리즘(SVM, 나이브 베이지안, KNN, 로지스틱 회귀)과 군집화 방법(k-means)이 테스트 케이스 우선순위 지정에 어떻게 기여하는지 비교 분석.

실험 결과

연구 질문

• RQ1 기존 소프트웨어 메트릭스는 결함 유발 모듈을 예측하는 데 얼마나 효과적인가? 의미론적 차이를 포착하지 못하는 한계는 무엇인가?
• RQ2 딥 러닝 모델이 소스 코드로부터 의미론적 표현을 학습함으로써 결함 예측 성능을 얼마나 향상시킬 수 있는가?
• RQ3 재현 테스트 시간을 줄이기 위해 테스트 케이스 우선순위 지정에 가장 효과적인 기계학습 기법은 무엇인가?
• RQ4 테스트 케이스 우선순위 지정에서 사용되는 서rogate 함수는 실제 결함 탐지 효과성과 얼마나 관련이 있는가?
• RQ5 정적 분석, 코드 메트릭스, 기계학습을 조합한 하이브리드 접근 방식이 예측 정확도를 향상시킬 수 있는가?

주요 결과

• 코드 복잡도와 채움 지표 등 기존의 결함 예측 특징은 동일한 문법적 구조를 가졌지만 의미적으로 다른 코드 간의 차이를 구분하지 못해 예측 정확도에 한계를 가진다.
• 딥 러닝 모델은 소스 코드로부터 의미론적 표현을 학습함으로써 기능적으로 다를 수 있지만 문법적으로 유사한 코드 영역 간의 구분 능력을 향상시켜 결함 예측 성능을 크게 향상시킨다.
• 신경망과 베이지안 네트워크는 기존 방법보다 결함 탐지 속도와 커버리지 측면에서 더 뛰어난 성능을 보이며, 테스트 케이스 우선순위 지정에 가장 효과적인 기법으로 평가된다.
• 강화 학습과 활성 학습 기반 접근 방식은 자원 제약 조건 하에서 결함 탐지를 최대화하는 적응형 테스트 케이스 순서를 생성하는 데 잠재력이 있다.
• 정적 분석 결과와 기계학습 특징을 융합한 하이브리드 모델은 코드 메트릭스만을 사용하는 모델보다 사전 릴리스 단계에서 더 높은 정확도를 달성한다.
• 유전 알고리즘과 군집 기반 방법은 대규모 테스트 셋에서 높은 계산 요구량이 발생하는 환경에서 스케일러블한 대안을 제공한다.