[논문 리뷰] Predicting Project Health for Open Source Projects (using the DECART Hyperparameter Optimizer).

Tianpei Xia, Wei Fu외 2명|arXiv (Cornell University)|2020. 06. 12.

Software Engineering Research참고 문헌 56인용 수 5

한 줄 요약

이 논문은 1,628개 프로젝트에서 78,455개월 분량의 GitHub 데이터를 사용하여 오픈소스 프로젝트의 건강 지표 예측 정확도를 향상시키기 위해 DECART 하이퍼파라미터 최적화 프레임워크를 제안한다. 미분 진화 기반의 CART 회귀 모델을 최적화함으로써 중앙값 예측 오차를 10% 이하로 낮추었으며, 일반적으로 50% 이상의 오차를 보이는 전통적인 알고리즘들보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

Software developed on public platforms is a source of data that can be used to make predictions about those projects. While the activity of a single developer may be random and hard to predict, when large groups of developers work together on software projects, the resulting behavior can be predicted with good accuracy. To demonstrate this, we use 78,455 months of data from 1,628 GitHub projects to make various predictions about the current status of those projects (as of April 2020). We find that traditional estimation algorithms make many mistakes. Algorithms like k-nearest neighbors (KNN), support vector regression (SVR), random forest (RFT), linear regression (LNR), and regression trees (CART) have high error rates (usually more than 50% wrong, sometimes over 130% wrong, median values). But that error rate can be greatly reduced using the DECART hyperparameter optimization. DECART is a differential evolution (DE) algorithm that tunes the CART data mining system to the particular details of a specific project. To the best of our knowledge, this is the largest study yet conducted, using the most recent data, for predicting multiple health indicators of open-source projects. Further, due to our use of hyperparameter optimization, the median predicting error of our predictions usually less than 10% which is much smaller than the errors seen in related work. Our results are a compelling argument for open-sourced development. Companies that only build in-house proprietary products may be cutting themselves off from the information needed to reason about those projects.

연구 동기 및 목표

• 소프트웨어 개발 활동 데이터를 활용하여 오픈소스 프로젝트 건강 지표의 정확도를 향상시키는 것.
• KNN, SVR, 랜덤 포레스트와 같은 전통적인 기계학습 모델이 프로젝트 건강 지표 예측에서 높은 오차를 보이는 문제를 해결하는 것.
• 대규모 오픈소스 프로젝트 데이터에서 하이퍼파라미터 최적화—특히 DECART—가 예측 오차를 줄이는 데 얼마나 효과적인지 평가하는 것.
• 협업 개발 패턴이 체계적으로 예측 가능함을 입증하여 오픈소스 소프트웨어 생태계의 가치를 뒷받침하는 것.

제안 방법

• 1,628개의 GitHub 프로젝트에서 확보한 78,455개월 분량의 역사적 데이터를 활용해 프로젝트 활동 및 건강 지표를 나타내는 특징을 추출한다.
• 기본 예측 오차율을 설정하기 위해 KNN, SVR, RFT, LNR, CART 등의 전통적 회귀 모델을 데이터셋에 대해 훈련 및 평가한다.
• 각 개별 프로젝트에 대해 CART 알고리즘의 하이퍼파라미터를 최적화하기 위해 DECART(미분 진화 기반 최적화기)를 적용한다.
• DE 원리를 활용해 하이퍼파라미터 공간을 반복적으로 탐색함으로써 CART의 성능을 점진적으로 향상시키는 최적화 과정을 수행한다.
• 예측 정확도는 중앙값 절대오차(MAE)를 사용해 측정하며, 하이퍼파라미터 최적화 유무에 따라 다양한 모델 간 성능을 비교한다.
• 최종 모델은 프로젝트별로 DECART로 최적화된 CART를 사용해 프로젝트 건강을 예측하며, 2020년 4월 기준 실제값과의 오차를 평가한다.

실험 결과

연구 질문

• RQ1 대규모 GitHub 데이터를 활용해 전통적인 기계학습 모델이 오픈소스 프로젝트 건강 지표를 정확하게 예측할 수 있는가?
• RQ2 DECART를 활용한 하이퍼파라미터 최적화가 기존 모델 대비 예측 오차를 얼마나 줄이는가?
• RQ3 다양한 오픈소스 프로젝트에서 DECART로 최적화된 CART의 중앙값 예측 오차는 다른 모델 대비 얼마나 우수한가?
• RQ4 협업 개발 패턴은 프로젝트 건강 지표의 예측 가능성에 어떤 영향을 미치는가?

주요 결과

• KNN, SVR, 랜덤 포레스트와 같은 기존 모델들은 중앙값 오차가 50% 이상을 초과하고, 일부 사례에선 130% 이상의 오차를 보였다.
• DECART로 최적화된 CART 모델은 테스트된 프로젝트 전반에서 중앙값 예측 오차를 10% 미만으로 낮추었으며, 기존 모델들보다 유의미하게 뛰어난 성능을 보였다.
• 본 연구는 최대 규모의 유사 분석으로, 가장 최신의 데이터(2020년 4월 기준)를 사용하여 총 1,628개의 오픈소스 프로젝트를 포함하고 있다.
• 결과는 협업 개발 행동이 대규모로 예측 가능하다는 것을 입증하며, 오픈소스 데이터가 프로젝트 건강 예측에 있어 유용하다는 것을 뒷받침한다.
• 내부 전용 개발에만 의존하는 기업들은 오픈소스 생태계를 통해 확보 가능한 예측 신호를 놓칠 수 있다.
• DECART의 프로젝트별 하이퍼파라미터 최적화는 기존 모델이 실패하는 상황에서도 고정밀도 예측을 가능하게 하며, 모델 맞춤화의 중요성을 강조한다.