[논문 리뷰] Use Case Point Approach Based Software Effort Estimation using Various Support Vector Regression Kernel Methods

Shashank Mouli Satapathy, Santanu Kumar Rath|arXiv (Cornell University)|2014. 01. 14.

Software Engineering Research참고 문헌 9인용 수 12

한 줄 요약

이 논문은 사용 사례 포인트(UCP) 접근법을 다중 서포트 벡터 회귀(SVR) 커널 방법(선형, 다항식, RBF, 시그모이드)과 통합하여 예측 정확도를 향상시킨 개선된 소프트웨어 노력 추정 모델을 제안한다. RBF 커널 기반의 SVR 모델은 가장 낮은 MMRE(0.3857)와 가장 높은 예측 정확도(98.0188%)를 기록하여 기존 문헌의 다른 커널 및 방법들을 능가했다.

ABSTRACT

The job of software effort estimation is a critical one in the early stages of the software development life cycle when the details of requirements are usually not clearly identified. Various optimization techniques help in improving the accuracy of effort estimation. The Support Vector Regression (SVR) is one of several different soft-computing techniques that help in getting optimal estimated values. The idea of SVR is based upon the computation of a linear regression function in a high dimensional feature space where the input data are mapped via a nonlinear function. Further, the SVR kernel methods can be applied in transforming the input data and then based on these transformations, an optimal boundary between the possible outputs can be obtained. The main objective of the research work carried out in this paper is to estimate the software effort using use case point approach. The use case point approach relies on the use case diagram to estimate the size and effort of software projects. Then, an attempt has been made to optimize the results obtained from use case point analysis using various SVR kernel methods to achieve better prediction accuracy.

연구 동기 및 목표

• 기존의 COCOMO 및 기능 포인트 분석과 같은 전통적 소프트웨어 노력 추정 모델의 한계를 해결하기 위해, 절차적 프로그래밍 패러다임에 의존하고 초기 개발 단계에서 정확도가 낮은 문제를 해결한다.
• UCP 모델이 소프트웨어 크기와 노력 간의 선형 관계를 가정한다는 점을 해결하여 추정 정확도를 향상시킨다.
• 다양한 SVR 커널 방법을 적용하여 UCP 기반 노력 추정의 정확도를 향상시킨다.
• 선형, 다항식, RBF, 시그모이드 커널과 같은 다양한 SVR 커널의 성능을 비교하여 UCP 지표를 활용한 소프트웨어 노력 추정 능력을 평가한다.
• 기계 학습 기반의 SVR 모델이 기존의 회귀 및 히وري스틱 모델보다 초기 단계의 소프트웨어 노력 추정에서 뚜렷이 뛰어나다는 것을 입증한다.

제안 방법

• 사용 사례 수와 액터 수를 기반으로 소프트웨어 크기와 노력 추정을 위해 UCP 접근법을 사용하며, 각 항목은 단순, 평균, 복잡으로 분류되고 해당 복잡도에 따라 다중 계수를 부여한다.
• 추정된 UCP 값은 선형, 다항식, 반경 기반 함수(RBF), 시그모이드 커널을 사용한 네 가지 다른 SVR 커널 방법의 입력 특징으로 사용된다.
• 서포트 벡터 회귀(SVR)는 비선형 매핑 함수를 사용하여 고차원 특징 공간에서 최적의 회귀 경계를 찾고 예측 오차를 최소화한다.
• 모델 파라미터는 MATLAB을 사용하여 최적화되며, 성능 평가에는 표준 지표인 평균 상대 오차의 크기(MMRE)와 예측 정확도(PRED)가 사용된다.
• 17개의 테스트 케이스를 대상으로 기존의 84개 데이터셋에서 추출한 자료를 기반으로 비교 분석을 수행하여 각 SVR 커널 방법의 정확도와 오차율을 평가한다.
• 일致성을 확보하기 위해 동일한 데이터셋을 사용하여 기존의 모델들인 회귀, 신경망, 퍼지 추론 시스템, TreeBoost와의 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 선형, 다항식, RBF, 시그모이드 중 어떤 SVR 커널 방법이 사용 사례 포인트(UCP) 모델과 조합했을 때 가장 정확한 소프트웨어 노력 추정을 제공하는가?
• RQ2 UCP와 SVR를 통합함으로써 기존의 회귀 기반 UCP 추정에 비해 평균 상대 오차의 크기(MMRE)를 유의미하게 감소시킬 수 있는가?
• RQ3 예측 정확도 측면에서 제안된 RBF-SVR 모델은 TreeBoost, 인공 신경망, 퍼지 추론 시스템과 같은 최신 기술 모델들과 비교해 어떻게 성능을 내는가?
• RQ4 SVR 커널의 비선형 매핑 기능이 UCP 크기와 실제 소프트웨어 노력 간의 비선형 관계를 효과적으로 포착하는가?
• RQ5 기존의 선형 또는 단순 회귀 방정식에 의존하는 UCP 기반 모델보다 제안된 모델이 더 높은 예측 정확도를 달성할 수 있는가?

주요 결과

• RBF 커널 기반의 SVR 모델은 가장 낮은 평균 상대 오차의 크기(MMRE)인 0.3857을 기록하여 선형(0.5438), 다항식(1.0003), 시그모이드(0.6049) 커널을 모두 앞섰다.
• RBF-SVR 모델은 98.0188%의 가장 높은 예측 정확도를 기록하여 이어지는 최고 성능 모델인 선형 커널(97.7421%)과 기존 연구에서 언급된 모든 모델을 뛰어넘었다.
• 기존 문헌에서 가장 우수한 방법으로 평가된 회귀 기반 UCP 추정(95.8% 정확도)보다 2.22% 높은 예측 정확도를 달성하여 제안된 RBF-SVR 모델의 성능 향상을 입증했다.
• 다항식 및 시그모이드 커널은 높은 오차율을 보였으며, 다항식 커널은 가장 높은 MMRE(1.0003)를 기록하여 테스트 데이터에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 결과는 비선형 SVR 커널, 특히 RBF 커널이 UCP 크기와 실제 소프트웨어 노력 간의 복잡한 비선형 관계를 모델링하는 데 더 적합하다는 것을 보여준다.
• 이 연구는 UCP와 결합된 소프트컴퓨팅 기법, 특히 RBF 커널을 사용한 SVR이 초기 단계의 소프트웨어 노력 추정 정확도를 크게 향상시킬 수 있음을 확인한다.