[논문 리뷰] Analysis of Empirical Software Effort Estimation Models

M. S. Saleem Basha, P. Dhavachelvan|arXiv (Cornell University)|2010. 04. 08.

Software Engineering Research참고 문헌 27인용 수 56

한 줄 요약

이 논문은 다양한 시나리오에서의 경험적 소프트웨어 노력 추정 모델을 분석하여 그 성능을 평가한다. 윌코크슨 부호 순위 검정을 통한 비교 분석을 통해 단일 추정 기법이 항상 최적임을 보여주지 못하며, 여러 모델을 조합하는 것이 더 신뢰할 수 있는 예측을 가능하게 한다.

ABSTRACT

Abstract – Reliable effort estimation remains an ongoing challenge to software engineers. Accurate effort estimation is the state of art of software engineering, effort estimation of software is the preliminary phase between the client and the business enterprise. The relationship between the client and the business enterprise begins with the estimation of the software. The credibility of the client to the business enterprise increases with the accurate estimation. Effort estimation often requires generalizing from a small number of historical projects. Generalization from such limited experience is an inherently under constrained problem. Accurate estimation is a complex process because it can be visualized as software effort prediction, as the term indicates prediction never becomes an actual. This work follows the basics of the empirical software effort estimation models. The goal of this paper is to study the empirical software effort estimation. The primary conclusion is that no single technique is best for all situations, and that a careful comparison of the results of several approaches is most likely to produce realistic estimates. Keywords-Software Estimation Models, Conte’s Criteria, Wilcoxon Signed-Rank Test.

연구 동기 및 목표

• 소프트웨어 개발 노력 예측을 위한 다양한 경험적 소프트웨어 노력 추정 모델의 효과성을 조사하기 위해.
• 노력 추정에서 제한된 역사적 프로젝트 데이터로부터 일반화하는 데 내재된 과제를 해결하기 위해.
• 일부 시나리오에서 다른 기법보다 항상 뛰어난 성능을 보이는 단일 추정 기법이 존재하는지 확인하기 위해.
• 모델 선택이 소프트웨어 프로젝트에서 고객-비즈니스 관계의 신뢰도에 미치는 영향을 평가하기 위해.

제안 방법

• 연구는 역사를 기반으로 한 소프트웨어 개발 프로젝트 데이터를 바탕으로 다양한 경험적 소프트웨어 노력 추정 모델을 평가한다.
• 모델의 품질과 노력 추정에서의 신뢰성을 평가하기 위해 Conte의 기준을 적용한다.
• 모델 성능의 통계적 비교를 위해 윌코크슨 부호 순위 검정을 사용하여 유의미한 차이를 확인한다.
• 다양한 소프트웨어 개발 맥락에서의 예측 정확도와 일관성에 초점을 맞춘다.
• 소규모 역사를 기반으로 일반화할 수 있는 능력에 따라 모델을 평가한다.
• 단일 추정 기법에 의존하는 것보다 비교 평가에 중점을 둔다.

실험 결과

연구 질문

• RQ1 다양한 소프트웨어 개발 시나리오에서 가장 우수한 경험적 소프트웨어 노력 추정 모델은 무엇인가?
• RQ2 비모수적 통계 검정을 사용할 때 개별 추정 모델의 성능는 어떻게 변할까?
• RQ3 제한된 역사를 기반으로 한 일반화가 얼마나 신뢰할 수 있는 노력 추정을 가능하게 할 수 있는가?
• RQ4 모델 선택이 소프트웨어 개발에서 고객 신뢰도와 프로젝트의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 모든 시나리오에서 다른 모든 기법보다 항상 뛰어난 성능을 보이는 단일 소프트웨어 노력 추정 기법은 존재하지 않는다.
• 여러 모델을 비교 평가하는 것은 단일 방법에 의존하는 것보다 더 현실적이고 신뢰할 수 있는 노력 추정을 가능하게 한다.
• 윌코크슨 부호 순위 검정을 통한 통계적 검정은 모델 간 유의미한 성능 차이를 드러낸다.
• 정확한 노력 추정은 고객의 신뢰를 높이고 소프트웨어 프로젝트에서 비즈니스 관계를 강화한다.
• 노력 추정의 성격상 정확도에 한계가 존재하므로, 모델 비교가 필수적이다.
• 역사적 데이터를 기반으로 한 경험적 모델은 여전히 노력 추정의 기초이지만, 그 신뢰성은 방법론적 비교에 달려 있다.