[논문 리뷰] A Neuro-Fuzzy Model with SEER-SEM for Software Effort Estimation

Wei Du, Danny Ho외 1명|arXiv (Cornell University)|2015. 07. 31.

Software Engineering Research참고 문헌 21인용 수 11

한 줄 요약

이 논문은 소프트웨어 노력 추정 정확도를 향상시키기 위해 SEER-SEM과 통합된 신경-퍼지 모델을 제안한다. 신경-퍼지 시스템의 퍼지 논리 추론와 SEER-SEM의 통계적 기반을 결합함으로써, 하이브리드 모델은 평균 상대 오차(MRE)를 크게 감소시키며, 산업 프로젝트 데이터에서 SEER-SEM 단독 사용 대비 뛰어난 성능을 보여준다.

ABSTRACT

Software effort estimation is a critical part of software engineering. Although many techniques and algorithmic models have been developed and implemented by practitioners, accurate software effort prediction is still a challenging endeavor. In order to address this issue, a novel soft computing framework was previously developed. Our study utilizes this novel framework to develop an approach combining the neuro-fuzzy technique with the System Evaluation and Estimation of Resource - Software Estimation Model (SEER-SEM). Moreover, our study assesses the performance of the proposed model by designing and conducting evaluation with published industrial project data. After analyzing the performance of our model in comparison to the SEER-SEM effort estimation model alone, the proposed model demonstrates the ability of improving the estimation accuracy, especially in its ability to reduce the large Mean Relative Error (MRE). Furthermore, the results of this research indicate that the general neuro-fuzzy framework can work with various algorithmic models for improving the performance of software effort estimation.

연구 동기 및 목표

• 소프트웨어 공학 분야에서 지속적인 정확도 부족 문제를 해결하기 위해.
• 신경-퍼지 기법과의 통합을 통해 SEER-SEM 모델의 예측 정확도를 향상시키기 위해.
• 실제 산업 프로젝트 데이터를 사용하여 제안된 신경-퍼지-SEER-SEM 프레임워크의 성능을 평가하기 위해.
• 신경-퍼지 프레임워크가 다른 추정 모델로 일반화될 수 있는지를 검증하기 위해.
• 기준 모델 대비 소프트웨어 노력 추정의 평균 상대 오차(MRE)를 감소시키기 위해.

제안 방법

• 제안된 모델은 신경-퍼지 시스템과 SEER-SEM 알고리즘 모델을 통합하여 불확실성을 다루는 데 퍼지 논리와 데이터로부터 학습하는 데 신경망의 장점을 활용한다.
• 신경-퍼지 구성 요소는 전문 지식을 모델링하기 위해 퍼지 추론 규칙를 사용하며, 역학적 학습을 통해 소historical 소프트웨어 프로젝트 데이터 기반으로 소속 함수를 조정한다.
• SEER-SEM은 프로젝트 크기, 복잡도 및 자원 제약 조건에 기반한 기본 추정 프레임워크를 제공한다.
• 하이브리드 모델은 추정 정확도 평가를 위해 공개된 산업 프로젝트 데이터셋을 사용하여 훈련 및 검증된다.
• 성능 평가는 표준 지표, 특히 평균 상대 오차(MRE)를 사용하여 하이브리드 모델과 단독 SEER-SEM 간의 비교를 통해 이루어진다.
• 프레임워크는 모듈식으로 설계되어 SEER-SEM 외의 다른 알고리즘 모델과의 통합도 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 신경-퍼지 기법을 SEER-SEM과 통합함으로써 소프트웨어 노력 추정 정확도를 향상시킬 수 있는가?
• RQ2 제안된 신경-퍼지-SEER-SEM 모델은 MRE 감소 측면에서 단독 SEER-SEM과 비교해 어떻게 다른가?
• RQ3 신경-퍼지 프레임워크는 다른 소프트웨어 추정 모델의 성능 향상에 얼마나 일반화될 수 있는가?
• RQ4 하이브리드 모델은 다양한 산업 소프트웨어 프로젝트 데이터셋에서 안정성과 정확도를 유지하는가?
• RQ5 퍼지 논리와 신경 학습은 소프트웨어 노력 예측의 오차 감소에 어떤 영향을 미치는가?

주요 결과

• 제안된 신경-퍼지-SEER-SEM 모델은 단독 SEER-SEM 사용 대비 평균 상대 오차(MRE)를 크게 감소시켰다.
• 신경-퍼지 기법의 통합은 복잡하고 불확실한 프로젝트 매개변수를 다룰 때 특히 추정 정확도를 향상시켰다.
• 모델은 실제 산업 프로젝트 데이터에서 향상된 성능을 보이며, 실용적 적용 가능성을 입증했다.
• 신경-퍼지 프레임워크는 SEER-SEM과 같은 알고리즘 모델과의 조합에서 호환성과 효과성을 입증했다.
• 결과는 하이브리드 접근 방식이 추정 정밀도와 신뢰성 측면에서 기준 SEER-SEM을 능가함을 시사한다.
• 이 연구는 소프트웨어 공학 분야에서 기존 추정 모델을 향상시키기 위해 소프트 컴퓨팅 프레임워크의 잠재력을 확인한다.