[논문 리뷰] Negative Results for Software Effort Estimation

Tim Menzies, Ye Yang외 3명|arXiv (Cornell University)|2016. 09. 18.

Software Engineering Research참고 문헌 53인용 수 9

한 줄 요약

이 논문은 네 개의 COCOMO 스타일 데이터셋을 사용하여 현대 소프트웨어 노력 예측 기법이 고전적인 COCOMO 2000 파rametric 모델에 비해 어떻게 평가되는지를 다룬다. 수십 년에 걸친 혁신에도 불구하고, 연구는 스펙트럴 클러스터링, 인스턴스 선택, CART와 같은 최신 기법들보다 항상 COCOMO 2000이 뛰어나다는 것을 발견하며, 노력 예측에서 알고리즘 복잡성보다 데이터 품질과 구조가 더 중요하다고 결론 내린다.

ABSTRACT

Context:More than half the literature on software effort estimation (SEE) focuses on comparisons of new estimation methods. Surprisingly, there are no studies comparing state of the art latest methods with decades-old approaches. Objective:To check if new SEE methods generated better estimates than older methods. Method: Firstly, collect effort estimation methods ranging from "classical" COCOMO (parametric estimation over a pre-determined set of attributes) to "modern" (reasoning via analogy using spectral-based clustering plus instance and feature selection, and a recent "baseline method" proposed in ACM Transactions on Software Engineering).Secondly, catalog the list of objections that lead to the development of post-COCOMO estimation methods.Thirdly, characterize each of those objections as a comparison between newer and older estimation methods.Fourthly, using four COCOMO-style data sets (from 1991, 2000, 2005, 2010) and run those comparisons experiments.Fifthly, compare the performance of the different estimators using a Scott-Knott procedure using (i) the A12 effect size to rule out "small" differences and (ii) a 99% confident bootstrap procedure to check for statistically different groupings of treatments). Results: The major negative results of this paper are that for the COCOMO data sets, nothing we studied did any better than Boehm's original procedure. Conclusions: When COCOMO-style attributes are available, we strongly recommend (i) using that data and (ii) use COCOMO to generate predictions. We say this since the experiments of this paper show that, at least for effort estimation,how data is collected is more important than what learner is applied to that data.

연구 동기 및 목표

• 현대 소프트웨어 노력 예측 기법이 고전적인 COCOMO 2000 파arametric 모델을 능가하는지 평가하는 것.
• 후속 COCOMO 예측 기법 개발의 계기를 마련한 이의들을 규명하고 분석하는 것.
• 표준화된 데이터셋을 사용하여 새로운 기법이 원래의 COCOMO-II 프레임워크를 얼마나 향상시키는지 평가하는 것.
• 데이터 수집 형식(COCOMO 온톨로지)이 학습 알고리즘 선택보다 예측 정확도에 더 큰 영향을 미치는지 판단하는 것.
• COCOMO 스타일 데이터가 가용할 경우 COCOMO 2000을 노력 예측의 신뢰할 수 있는 기준으로 사용할 것을 주장하는 것.

제안 방법

• 고전적인 COCOMO(파arametric)에서부터 스펙트럴 클러스터링, 인스턴스 선택, 특징 선택, CART에 이르기까지 다양한 예측 기법을 수집하고 평가하였다.
• 더 나은 기법 개발의 동기를 제공한 이의들을 정리하여, 이는 오래된 접근과 새로운 접근 간의 비교로 프레임워크화하였다.
• 네 개의 COCOMO 스타일 데이터셋(1991, 2000, 2005, 2010)에서 통제된 실험을 수행하여 기법 간 성능을 비교하였다.
• 성능 간 유의미한 차이를 탐지하기 위해 Scott-Knott 절차를 적용하였다.
• A12 효과 크기를 사용하여 미미한 차이를 걸러내어 유의미한 성능 격차만 고려하도록 하였다.
• 성능 그룹화의 타당성과 강건성을 확보하기 위해 99% 신뢰도를 가진 부트스트랩 재표본화 절차를 사용하였다.

실험 결과

연구 질문

• RQ1 RQ1: 파arametric 예측이 노력 예측에서 단지 소스 코드 줄 수(LOC)를 사용하는 것보다 나아지지 않는가?
• RQ2 RQ2: 노력 예측 분야의 혁신이 COCOMO 2000 같은 파arametric 예측 기법을 초월했는가?
• RQ3 RQ3: COCOMO 2000와 같은 오래된 파arametric 캘리브레이션은 새로운 모델과 비교해도 여전히 유효하고 효과적인가?
• RQ4 RQ4: 특징, 행, 열의 정제를 통해 파arametric 예측을 단순화할 수 있는가, 정확도를 희생시키지 않고서도?

주요 결과

• 네 개의 COCOMO 스타일 데이터셋 전반에서 COCOMO 2000 파arametric 모델은 테스트된 모든 최신 예측 기법보다 동일하거나 뛰어난 성능을 보였다.
• 연구에서는 COCOMO 2000에 비해 현대적 비파arametric 또는 앙상블 기법을 사용할 경우 예측 정확도 향상이 통계적으로 유의미하지 않았다.
• A12 효과 크기 분석을 통해 COCOMO 2000과 최신 기법 간의 차이가 실질적으로 의미가 없다는 것이 확인되었다.
• 특징 선택, 인스턴스 선택, 클러스터링 기법을 적용한 후에도 동일한 데이터에서 어떤 기법도 COCOMO 2000을 능가하지 못했다.
• 결과적으로 데이터 수집 형식(COCOMO 온톨로지)이 학습 알고리즘 선택보다 예측 품질에 더 큰 영향을 미친다는 것이 드러났다.
• 저자들은 COCOMO 스타일 특징이 가용할 경우 COCOMO 2000이 여전히 타당하고 신뢰할 수 있으며 권장되는 기준으로 남아 있다고 결론 내렸다.