[논문 리뷰] Synthetic Minority Over-sampling TEchnique(SMOTE) for Predicting Software Build Outcomes

Russel Pears, Jacqui Finlay외 1명|arXiv (Cornell University)|2014. 07. 09.

Software Engineering Research참고 문헌 29인용 수 25

한 줄 요약

이 논문은 소프트웨어 빌드 결과 예측에서 클래스 불균형 문제를 해결하기 위해 SMOTE를 사용하며, 의사결정나무를 활용한 데이터 스트림 접근 방식을 제안한다. 약 900개의 빌드 인스턴스를 처리한 후 분류 정확도는 80%에 도달했지만, 합성 데이터 생성에도 불구하고 클래스 분포 편향이 지속되었다.

ABSTRACT

In this research we use a data stream approach to mining data and construct Decision Tree models that predict software build outcomes in terms of software metrics that are derived from source code used in the software construction process. The rationale for using the data stream approach was to track the evolution of the prediction model over time as builds are incrementally constructed from previous versions either to remedy errors or to enhance functionality. As the volume of data available for mining from the software repository that we used was limited, we synthesized new data instances through the application of the SMOTE oversampling algorithm. The results indicate that a small number of the available metrics have significance for prediction software build outcomes. It is observed that classification accuracy steadily improves after approximately 900 instances of builds have been fed to the classifier. At the end of the data streaming process classification accuracies of 80% were achieved, though some bias arises due to the distribution of data across the two classes over time.

연구 동기 및 목표

• 소스 코드에서 유도된 코드 메트릭을 사용해 변화하는 소프트웨어 개발 환경에서 소프트웨어 빌드 결과를 예측하는 것.
• 합성 데이터 생성을 위한 SMOTE 적용을 통해 소프트웨어 빌드 결과 예측에서의 불균형 데이터 문제를 해결하는 것.
• 실시간 빌드 결과 예측을 위한 의사결정나무 기반의 데이터 스트림 마이닝 접근 방식의 효과성을 평가하는 것.
• 새로운 빌드 데이터가 순차적으로 분류기로 공급됨에 따라 모델 성능이 시간에 따라 어떻게 변화하는지 분석하는 것.
• 합성 오버샘플링이 소프트웨어 결함 예측의 분류 정확도와 편향에 미치는 영향을 평가하는 것.

제안 방법

• 소프트웨어 리포지터리의 빌드 데이터를 기반으로 의사결정나무 모델을 순차적으로 훈련하기 위해 데이터 스트림 마이닝 접근 방식을 사용한다.
• 빌드 결과(예: 성공/실패)를 예측하기 위한 입력 특징으로 소스 코드에서 소프트웨어 메트릭을 추출한다.
• 소수 클래스에 대한 합성 인스턴스를 생성하기 위해 SMOTE(Synthetic Minority Over-sampling Technique)를 적용하여 데이터 불균형을 완화한다.
• 모델은 순차적으로 훈련되며, 각 새로운 빌드 인스턴스가 진화하는 분류기의 일부가 된다.
• 학습 진행 상황과 모델 안정성을 평가하기 위해 정확도를 시간에 따라 모니터링한다.
• 표준 분류 지표를 사용해 성능을 평가하며, 클래스 분포 편향에 주의를 기울인다.

실험 결과

연구 질문

• RQ1 빌드 데이터에 대해 순차적으로 훈련될 때 의사결정나무 분류기의 소프트웨어 빌드 결과 예측 성능은 시간에 따라 어떻게 변화하는가?
• RQ2 불균형 소프트웨어 빌드 결과 데이터가 존재하는 상황에서 SMOTE는 분류 정확도를 얼마나 향상시키는가?
• RQ3 순차적 학습의 맥락에서 빌드 결과를 가장 잘 예측하는 소프트웨어 메트릭은 무엇인가?
• RQ4 데이터 불균형은 모델 편향에 어떤 영향을 미치며, SMOTE는 이를 효과적으로 줄일 수 있는가?
• RQ5 이 접근 방식을 사용할 때 안정적이고 정확한 예측을 위해 필요한 최소 빌드 인스턴스 수는 얼마인가?

주요 결과

• 약 900개의 빌드 인스턴스를 처리한 후 분류 정확도가 점진적으로 향상되어 최고 80%에 도달했다.
• 가용 소프트웨어 메트릭의 소수의 부분만이 빌드 결과 예측에 유의미한 예측 변수로 밝혀졌다.
• SMOTE를 적용했음에도 불구하고, 두 결과 클래스에 걸쳐 데이터의 시계열 분포로 인해 일부 예측 편향이 지속되었다.
• 데이터 스트림 접근 방식은 지속적인 모델 개선을 가능하게 하여, 소프트웨어 빌드 예측에서 순차적 학습의 실현 가능성을 입증했다.
• SMOTE는 소수 클래스의 데이터 부족 문제를 효과적으로 완화하여 초기 훈련 단계에서 모델의 강건성을 향상시켰다.
• 결과적으로, 합성 오버샘플링을 통해 보완된 제한된 역사적 데이터로도 빌드 결과 예측 모델링이 가능하다는 것이 제안된다.