[논문 리뷰] Analyzing the Non-Functional Requirements in the Desharnais Dataset for Software Effort Estimation

Ali Bou Nassif, Luiz Fernando Capretz외 1명|arXiv (Cornell University)|2014. 05. 06.

Software Engineering Research참고 문헌 20인용 수 8

한 줄 요약

이 연구는 81개 프로젝트로 구성된 Desharnais 데이터셋을 사용하여 비기능 요구사항(NFRs)이 소프트웨어 노력 추정에 미치는 영향을 분석한다. 회귀 모델과 인공신경망 모델을 적용하여 NFRs—특히 'Language' 속성이 매우 중요하다는 것을 입증하며, NFRs를 생략할 경우 오차가 두 배로 증가함을 보여준다(MMRE).

ABSTRACT

Studying the quality requirements (aka Non-Functional Requirements (NFR)) of a system is crucial in Requirements Engineering. Many software projects fail because of neglecting or failing to incorporate the NFR during the software life development cycle. This paper focuses on analyzing the importance of the quality requirements attributes in software effort estimation models based on the Desharnais dataset. The Desharnais dataset is a collection of eighty one software projects of twelve attributes developed by a Canadian software house. The analysis includes studying the influence of each of the quality requirements attributes, as well as the influence of all quality requirements attributes combined when calculating software effort using regression and Artificial Neural Network (ANN) models. The evaluation criteria used in this investigation include the Mean of the Magnitude of Relative Error (MMRE), the Prediction Level (PRED), Root Mean Squared Error (RMSE), Mean Error and the Coefficient of determination (R2). Results show that the quality attribute Language is the most statistically significant when calculating software effort. Moreover, if all quality requirements attributes are eliminated in the training stage and software effort is predicted based on software size only, the value of the error (MMRE) is doubled.

연구 동기 및 목표

• 비기능 요구사항(NFRs)이 소프트웨어 노력 추정에 미치는 영향을 조사하기 위해.
• 개별 및 병합된 NFR 속성이 노력 예측 모델에서 기여하는 바를 평가하기 위해.
• 추정 모델에서 NFRs를 제거했을 때 성능 저하를 평가하기 위해.
• 회귀 모델과 인공신경망(ANN) 모델이 NFRs를 사용하여 소프트웨어 노력 예측에서 어떻게 비교되는지 평가하기 위해.
• 노력 추정에서 가장 통계적으로 유의미한 NFR 속성을 특정하기 위해.

제안 방법

• 비기능 요구사항을 포함한 12개의 속성을 가진 81개의 소프트웨어 프로젝트로 구성된 Desharnais 데이터셋을 활용하였다.
• 프로젝트 크기와 NFR 속성을 기반으로 소프트웨어 노력 추정을 위해 다중선형회귀 및 인공신경망(ANN) 모델을 적용하였다.
• 예측 변수로 개별 NFR 속성(예: 신뢰성, 성능, 사용성 등)을 포함시켰다.
• 모든 NFR 속성을 하나의 모델 입력으로 통합하여 그들이 노력 추정에 미치는 종합적 영향을 평가하였다.
• 표준 평가 지표인 MMRE, PRED, RMSE, 평균 오차, R²를 사용하여 모델 성능을 평가하였다.
• 모든 NFR 속성을 제거하여 추정 정확도에 미치는 영향을 측정하기 위해 추론 실험(Ablation experiments)을 수행하였다.

실험 결과

연구 질문

• RQ1 개별 비기능 요구사항 속성이 소프트웨어 노력 추정 정확도에 어떻게 영향을 미치는가?
• RQ2 모든 비기능 요구사항 속성의 종합적 영향은 노력 추정에 어떤가?
• RQ3 소프트웨어 노력 예측에서 가장 통계적으로 유의미한 NFR 속성은 무엇인가?
• RQ4 모든 NFR 속성을 제거했을 경우 노력 추정 모델의 오차는 어떻게 변화하는가?
• RQ5 NFRs가 포함된 경우, 회귀 모델과 인공신경망 모델은 노력 추정에서 어떻게 비교되는가?

주요 결과

• 'Language' 속성이 소프트웨어 노력 추정에 있어 가장 통계적으로 유의미한 비기능 요구사항으로 규명되었다.
• 학습 단계에서 모든 NFR 속성을 제거하면 상대오차의 크기 평균(MMRE)이 두 배로 증가하여 추정 정확도가 심각하게 저하됨을 확인하였다.
• 모든 NFR 속성을 포함시킴으로써 모든 평가 기준에서 모델 성능이 크게 향상되었으며, 이는 더 낮은 MMRE, RMSE 및 높은 R²를 의미한다.
• 회귀 모델과 ANN 모델 모두 NFRs를 포함시킬 경우 예측 정확도가 향상되었으며, 일반적으로 ANN 모델이 오차 지표에서 회귀 모델을 능가하였다.
• NFR 속성들의 종합적 영향은 노력 추정에 의미 있는 기여를 하였으며, NFRs가 노력 모델링에서 무시할 수 없는 요소임을 입증하였다.
• 이 연구는 노력 추정에서 NFRs를 간과할 경우 예측 오차가 상당히 증가함을 확인하였으며, 특히 소프트웨어 크기만을 기반으로 하는 경우 더욱 뚜렷하다.