[논문 리뷰] Software Effort Estimation using Radial Basis and Generalized Regression Neural Networks

P. V. G. D. Prasad Reddy, K. Sudha외 2명|arXiv (Cornell University)|2010. 05. 21.

Software Engineering Research참고 문헌 7인용 수 59

한 줄 요약

이 논문은 전통적인 COCOMO 모델의 정확성 부족 문제를 해결하기 위해 소프트웨어 노력 추정을 위한 라디얼 기저 함수(RBF) 및 일반화 회귀 신경망(GRNN) 모델을 제안한다. COCOMO81 데이터셋을 사용하여 RBF 모델이 여러 지표에서 중간 수준의 COCOMO를 능가했으며, 불완전하고 불확실한 프로젝트 데이터를 다룰 때 뛰어난 정확성을 보였다.

ABSTRACT

Software development effort estimation is one of the most major activities in software project management. A number of models have been proposed to construct a relationship between software size and effort; however we still have problems for effort estimation. This is because project data, available in the initial stages of project is often incomplete, inconsistent, uncertain and unclear. The need for accurate effort estimation in software industry is still a challenge. Artificial Neural Network models are more suitable in such situations. The present paper is concerned with developing software effort estimation models based on artificial neural networks. The models are designed to improve the performance of the network that suits to the COCOMO Model. Artificial Neural Network models are created using Radial Basis and Generalized Regression. A case study based on the COCOMO81 database compares the proposed neural network models with the Intermediate COCOMO. The results were analyzed using five different criterions MMRE, MARE, VARE, Mean BRE and Prediction. It is observed that the Radial Basis Neural Network provided better results

연구 동기 및 목표

• 초기 개발 단계에서 불완전하거나 일관되지 않거나 불확실한 프로젝트 데이터로 인해 지속적으로 발생하는 소프트웨어 노력 추정의 정확성 부족 문제를 해결한다.
• 데이터 불확실성과 정밀도 부족으로 인해 어려움을 겪는 전통적 모델인 중간 수준의 COCOMO를 개선한다.
• 실제 소프트웨어 프로젝트에서 흔히 발생하는 노이즈가 많고 희소한 입력 데이터를 더 잘 다룰 수 있는 신경망 기반의 노력 추정 모델을 개발한다.
• 표준화된 정확도 지표를 사용하여 RBF 및 GRNN 모델의 성능을 COCOMO81과 비교한다.
• 인공 신경망이 소프트웨어 노력 추정의 신뢰성 향상에 효과적이고 실현 가능하다는 것을 입증한다.

제안 방법

• 비선형 매핑을 사용하여 소프트웨어 크기와 노력 간의 관계를 모델링하기 위해 라디얼 기저 함수(RBF) 신경망을 활용한다.
• 결정적 회귀 기반의 노력 추정을 위한 대안적 신경망 접근법으로 일반화 회귀 신경망(GRNN)을 구현한다.
• 역사적 소프트웨어 프로젝트 데이터(크기 및 노력 속성 포함)를 포함한 COCOMO81 데이터셋을 사용해 RBF 및 GRNN 모델을 훈련시킨다.
• 모델 예측값을 COCOMO81 데이터베이스의 실제 노력 값과 비교하기 위해 사례 기반 접근법을 적용한다.
• 모델 정확도를 평가하고 비교하기 위해 다섯 가지 성능 지표(MMRE, MARE, VARE, Mean BRE, Prediction)를 적용한다.
• 실제 환경에서 일반화 능력을 향상시키고 추정 오차를 줄이기 위해 네트워크 파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 RBF 및 GRNN 신경망은 중간 수준의 COCOMO 모델에 비해 소프트웨어 노력 추정 정확도를 향상시킬 수 있는가?
• RQ2 RBF 및 GRNN 모델은 불완전하거나 불확실한 속성을 가진 실제 소프트웨어 프로젝트 데이터에서 어떻게 성능을 발휘하는가?
• RQ3 MMRE, MARE 및 예측 정확도 측면에서 RBF 또는 GRNN 중 어떤 신경망 아키텍처가 더 나은 추정 결과를 낳는가?
• RQ4 데이터 일관성 결여 및 불확실성이 존재할 경우 신경망 모델은 추정 오차를 얼마나 줄일 수 있는가?
• RQ5 신경망은 초기 프로젝트 단계에서 소프트웨어 크기와 노력 간의 비선형 관계를 효과적으로 모델링할 수 있는가?

주요 결과

• 라디얼 기저 함수(RBF) 신경망 모델은 가장 낮은 상대 오차의 평균 크기(MMRE)를 기록하여 전체적인 추정 정확도가 뛰어나다는 것을 확인했다.
• RBF 모델은 MMRE, MARE, VARE, Mean BRE, 예측률을 포함한 모든 다섯 가지 평가 기준에서 중간 수준의 COCOMO를 뛰어넘었다.
• GRNN 모델은 경쟁력 있는 성능를 보였지만, 모든 핵심 지표에서 RBF 모델에 항상 열등했다.
• RBF와 GRNN 모두 불완전하고 불확실한 프로젝트 데이터를 다룰 수 있는 강건성을 보였으며, 이는 전통적 모델의 주요 제약 사항이다.
• RBF 모델은 더 높은 예측률을 기록하여, 예측 값 중 더 많은 비율이 허용 가능한 25% 오차 이내에 들어갔음을 의미한다.
• 이 연구는 특히 RBF를 포함한 인공 신경망이 실제 환경에서 소프트웨어 노력 추정 정확도 향상에 효과적이라는 것을 확인했다.