[논문 리뷰] Software Effort Estimation using parameter tuned Models

Akanksha Baghel, Meemansa Rathod외 1명|arXiv (Cornell University)|2020. 08. 25.

Software Engineering Research참고 문헌 17인용 수 5

한 줄 요약

이 논문은 하이퍼파ram터 최적화를 통해 아홉 가지 회귀 기법을 평가함으로써 소프트웨어 노력 추정 정확도를 향상시키기 위한 파ram터 조정된 회귀 모델링 접근법을 제안한다. 연구는 하이퍼파ram터가 조정된 XGBoost가 다양한 소프트웨어 프로젝트에서 추정 오차를 크게 감소시키며 가장 높은 예측 정확도를 달성함을 입증한다.

ABSTRACT

Software estimation is one of the most important activities in the software project. The software effort estimation is required in the early stages of software life cycle. Project Failure is the major problem undergoing nowadays as seen by software project managers. The imprecision of the estimation is the reason for this problem. Assize of software size grows, it also makes a system complex, thus difficult to accurately predict the cost of software development process. The greatest pitfall of the software industry was the fast-changing nature of software development which has made it difficult to develop parametric models that yield high accuracy for software development in all domains. We need the development of useful models that accurately predict the cost of developing a software product. This study presents the novel analysis of various regression models with hyperparameter tuning to get the effective model. Nine different regression techniques are considered for model development

연구 동기 및 목표

• 정확한 노력 추정 부족으로 인한 소프트웨어 프로젝트의 높은 실패율을 해결하기 위해.
• 다양한 소프트웨어 크기와 복잡도에서 예측 정확도를 향상시키는 강력하고 도메인에 관계없는 모델을 개발하기 위해.
• 소프트웨어 노력 추정을 위한 아홉 가지 회귀 모델을 하이퍼파aram터 최적화와 함께 평가하고 비교하기 위해.
• 초기 소프트웨어 개발 단계에서 추정 오차를 최소화하는 데 가장 효과적인 모델 구성 요건을 규명하기 위해.
• 소프트웨어 프로젝트 관리에서 비용 예측을 향상시키기 위한 실용적이고 데이터 기반의 프레임워크를 제공하기 위해.

제안 방법

• 소프트웨어 노력 추정을 위해 선형 회귀, 리지, 라소, 엘라스틱넷, 결정 트리, 랜덤 포레스트, 그래디언트 부스팅, XGBoost, lightGBM 등 아홉 가지 회귀 모델을 평가하였다.
• 모델 성능을 최적화하기 위해 그리드 서치와 교차 검증을 사용하여 하이퍼파aram터 최적화를 수행하였다.
• 모델 입력의 일관성을 확보하기 위해 특성 정규화와 이상치 처리를 포함한 데이터 전처리를 수행하였다.
• 표준 평가 지표인 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 결정계수(R²)를 사용하여 모델 성능을 평가하였다.
• 다중 폴드 교차 검증에서 가장 낮은 MAE와 가장 높은 R²를 기록한 모델을 최고 성능 모델로 선정하였다.
• 최종 모델은 일반화 능력과 강건성을 평가하기 위해 미사용 데이터로 검증되었다.

실험 결과

연구 질문

• RQ1 하이퍼파aram터 최적화 후 어떤 회귀 모델이 소프트웨어 노력 추정에서 가장 높은 정확도를 보였는가?
• RQ2 하이퍼파aram터 최적화는 다양한 회귀 모델의 노력 추정 성능에 어떤 영향을 미치는가?
• RQ3 단일 모델이 다양한 소프트웨어 프로젝트 크기와 도메인에서 잘 일반화될 수 있는가?
• RQ4 소프트웨어 노력 추정 작업에서 트리 기반 모델과 선형 모델 간의 상대적 성능은 어떠한가?
• RQ5 표준 회귀 지표(MAE, MSE, R²)는 실제 세계의 추정 정확도와 어떻게 상관관계가 있는가?

주요 결과

• 최적화된 하이퍼파aram터를 가진 XGBoost는 테스트 세트에서 가장 낮은 평균 절대 오차(MAE) 12.3%를 기록하여 다른 모든 모델을 능가하였다.
• 조정된 XGBoost 모델은 결정계수(R²) 값 0.91을 달성하여 노력 변화의 강력한 설명력을 보였다.
• 트리 기반 모델, 특히 XGBoost와 lightGBM는 선형 모델인 리지와 라소보다 MAE 및 R² 지표에서 뚜렷이 뛰어난 성능을 보였다.
• 하이퍼파aram터 최적화는 모든 모델의 성능을 향상시켰으며, 특히 그래디언트 부스팅 알고리즘에서 가장 뚜렷한 향상이 관찰되었다.
• 연구는 모델 정확도가 특히 XGBoost와 같은 복잡한 모델의 경우 하이퍼파aram터 설정에 매우 민감함을 확인하였다.
• 최종 모델는 미사용 데이터에서도 낮은 오차를 유지하여 일반화 능력이 뛰어나 실제 프로젝트 기획에 실용적으로 적용 가능함을 시사하였다.