[논문 리뷰] The Effectiveness of Supervised Machine Learning Algorithms in Predicting Software Refactoring

Maurício Aniche, Erick Galani Maziero외 2명|arXiv (Cornell University)|2020. 01. 10.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 11,149개의 오픈소스 프로젝트에서 소프트웨어 리팩터링 기회를 예측하기 위해 지도 학습 알고리즘을 평가한다. 200만 건이 넘는 레이블이 부여된 리팩터링을 사용하여, 랜덤 포레스트 모델이 클래스, 메서드, 변수 수준에서 20종류의 리팩터링 유형을 90% 이상의 정확도로 예측할 수 있음을 입증한다. 프로세스 및 소유권 메트릭스가 다양한 생태계 간 모델 성능 향상과 일반화 능력을 크게 향상시킨다.

ABSTRACT

Refactoring is the process of changing the internal structure of software to improve its quality without modifying its external behavior. Empirical studies have repeatedly shown that refactoring has a positive impact on the understandability and maintainability of software systems. However, before carrying out refactoring activities, developers need to identify refactoring opportunities. Currently, refactoring opportunity identification heavily relies on developers' expertise and intuition. In this paper, we investigate the effectiveness of machine learning algorithms in predicting software refactorings. More specifically, we train six different machine learning algorithms (i.e., Logistic Regression, Naive Bayes, Support Vector Machine, Decision Trees, Random Forest, and Neural Network) with a dataset comprising over two million refactorings from 11,149 real-world projects from the Apache, F-Droid, and GitHub ecosystems. The resulting models predict 20 different refactorings at class, method, and variable-levels with an accuracy often higher than 90%. Our results show that (i) Random Forests are the best models for predicting software refactoring, (ii) process and ownership metrics seem to play a crucial role in the creation of better models, and (iii) models generalize well in different contexts.

연구 동기 및 목표

• 실제 시스템에서 지도 학습이 소프트웨어 리팩터링 기회를 효과적으로 예측할 수 있는지 조사하기 위해.
• 로지스틱 회귀, 나이브 베이즈, 서포트 벡터 머신, 결정 트리, 랜덤 포레스트, 신경망을 포함한 6종의 머신러닝 알고리즘의 성능을 20종류의 리팩터링 작업 예측에 대해 평가하기 위해.
• 특히 프로세스 및 소유권 메트릭스를 포함한 코드 메트릭스와 시스템 특성 중에서 모델 효과성에 가장 기여하는 요소를 규명하기 위해.
• 학습된 모델이 다양한 소프트웨어 생태계와 프로젝트 유형 간에 일반화 능력을 얼마나 갖추고 있는지 평가하기 위해.
• 실제 현장에서 허위 경고를 줄이고 데이터 기반 리팩터링 결정을 지원할 수 있는 ML 기반 추천의 실증적 증거를 제공하기 위해.

제안 방법

• Apache, F-Droid, GitHub에서 11,149개의 실제 프로젝트로부터 200만 건이 넘는 레이블이 부여된 리팩터링 작업 데이터셋을 수집하였다.
• 리팩터링 예측을 클래스, 메서드, 변수 수준에서 각 리팩터링 유형(예: 메서드 추출, 변수 이름 변경 등)에 대해 이진 분류 문제로 설정하였다.
• 디자인, 복잡도, 소유권 관련 특성(예: 커밋터 수, 파일 연령 등)을 포함한 총 142개의 정적 코드 메트릭스를 추출하여 코드 요소를 표현하였다.
• 10겹 교차 검증을 사용하여 6종의 지도 학습 모델(로지스틱 회귀, 나이브 베이즈, 서포트 벡터 머신, 결정 트리, 랜덤 포레스트, 신경망)을 데이터셋에 대해 훈련시켰다.
• 정확도, 정밀도, 재현율, F1 점수를 사용하여 모델 성능을 평가하였으며, 추가로 기능 중요도 평가를 위한 아블레이션 연구도 수행하였다.
• 다양한 생태계 간 일반화 테스트와 시간 순서 기반 훈련/테스트를 실시하여 모델의 강건성과 데이터 누출 방지를 검증하였다.

실험 결과

연구 질문

• RQ1 다양한 오픈소스 프로젝트에서 소프트웨어 리팩터링 작업을 예측하는 데 가장 우수한 성능을 보이는 지도 학습 알고리즘은 무엇인가?
• RQ2 다양한 코드 메트릭스—특히 프로세스 및 소유권 관련 기능—는 리팩터링 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 다양한 프로젝트에서 학습된 모델이 다양한 생태계의 새로운, 알려지지 않은 소프트웨어 시스템으로 일반화되는 정도는 어느 정도인가?
• RQ4 리팩터링의 시간 순서 정보가 포함될 경우 모델 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ5 데이터셋 크기와 프로젝트 다양성은 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?

주요 결과

• 랜덤 포레스트 모델은 모든 20종류의 리팩터링 유형에 대해 평균 정확도가 가장 높았으며, 다른 알고리즘을 일관되게 능가했고, 정확도는 종종 90%를 초과하였다.
• 프로세스 및 소유권 메트릭스—예를 들어 커밋터 수, 파일 연령, 변경 빈도 등—는 가장 중요한 기능 중 하나였으며, 모델 성능 향상에 크게 기여하였다.
• Apache, F-Droid, GitHub에서 유사한 생태계 간 이질적인 데이터에서 학습된 모델은 새로운 프로젝트로의 일반화 능력이 뛰어나, 강력한 프로젝트 간 전이 가능성을 보였다.
• 시간 순서 기반 평가(첫 90%의 리팩터링으로 훈련, 마지막 10%로 테스트)에서 평균 정확도는 87%였으며, 이는 시간적 데이터 누출 문제가 주요 문제로 작용하지 않았음을 확인하였다.
• 클래스 수준의 리팩터링 모델이 메서드 및 변수 수준의 모델보다 성능이 뛰어났으며, 특히 F-Droid와 Apache와 같은 작은 데이터셋에서는 뚜렷한 격차가 있었지만, GitHub와 같은 더 큰 데이터셋에서는 격차가 좁혀졌다.
• 본 연구는 머신러닝 기반 모델이 리팩터링 기회를 정확하게 예측할 수 있다는 대규모 실증적 증거를 처음으로 제공하며, 높은 허위 경고율을 보이는 히ュ리스틱 기반 도구에 비해 실용적인 대안이 될 수 있음을 시사한다.