[논문 리뷰] Using Multi Expression Programming in Software Effort Estimation

Najla Akram, AL-Saati외 1명|arXiv (Cornell University)|2018. 04. 30.

Software Engineering Research참고 문헌 15인용 수 3

한 줄 요약

이 논문은 벤치마크 데이터셋에서 수식을 진화시켜 소프트웨어 노력 추정을 향상시키기 위해 선형 유전적 프로그래밍의 변종인 다중 표현 프로그래밍(MEP)을 제안한다. 결과적으로 MEP는 여섯 개의 데이터셋에서 전통적인 유전적 프로그래밍(GP)을 능가하며 다양한 적합도 함수를 사용하여 더 정확하고 안정적인 노력 예측을 달성한다.

ABSTRACT

Estimating the effort of software systems is an essential topic in software engineering, carrying out an estimation process reliably and accurately for a software forms a vital part of the software development phases. Many researchers have utilized different methods and techniques hopping to find solutions to this issue, such techniques include COCOMO, SEER-SEM,SLIM and others. Recently, Artificial Intelligent techniques are being utilized to solve such problems; different studies have been issued focusing on techniques such as Neural Networks NN, Genetic Algorithms GA, and Genetic Programming GP. This work uses one of the linear variations of GP, namely: Multi Expression Programming (MEP) aiming to find the equation that best estimates the effort of software. Benchmark datasets (based on previous projects) are used learning and testing. Results are compared with those obtained by GP using different fitness functions. Results show that MEP is far better in discovering effective functions for the estimation of about 6 datasets each comprising several projects.

연구 동기 및 목표

• 소프트웨어 공학 프로젝트에서 지속적인 정확도 부족 문제를 해결하기 위해.
• 소프트웨어 개발 노력 추정을 위한 새로운 접근법으로 다중 표현 프로그래밍(MEP)의 효과성을 평가하기 위해.
• 다양한 적합도 함수를 사용하여 MEP의 성능을 기존 유전적 프로그래밍(GP)과 비교하기 위해.
• 이전 소프트웨어 프로젝트에서 유래한 실제 벤치마크 데이터셋을 통해 방법을 검증하기 위해.
• MEP가 노력 추정 작업에 가장 효과적인 수식 형태를 어떻게 도출하는지 규명하기 위해.

제안 방법

• MEP는 동시에 여러 수학적 표현을 인코딩하는 선형 염색체를 진화시키기 위해 적용된다.
• MEP의 각 염색체는 프로젝트 속성에서 유도된 후보 노력 추정 함수의 집합을 나타낸다.
• 적합도 평가에서는 평균 절대 오차(MAE) 및 평균 제곱 오차(MSE)와 같은 오차 측도를 사용하여 진화를 이끈다.
• 선택, 교차 및 변이 연산자를 사용하여 세대를 거쳐 인구를 진화시켜 추정 정확도를 최적화한다.
• 다양한 데이터셋에서의 강건성과 일반화 능력을 평가하기 위해 다수의 적합도 함수를 테스트한다.
• 이전 소프트웨어 프로젝트에서 유래한 벤치마크 데이터셋을 사용하여 유도된 모델의 학습 및 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 MEP는 기존 GP보다 더 정확한 소프트웨어 노력 추정 함수를 생성할 수 있는가?
• RQ2 MEP는 소프트웨어 노력 추정에서 다양한 적합도 함수에서 어떻게 성능을 발휘하는가?
• RQ3 MEP는 소프트웨어 프로젝트의 다양한 벤치마크 데이터셋에서 일관되게 GP를 능가하는가?
• RQ4 MEP는 노력 추정에 가장 효과적인 수학적 표현을 어떤 형태로 발견하는가?
• RQ5 MEP는 GP에 비해 여러 데이터셋에서 더 안정적이고 신뢰할 수 있는 추정을 수행하는가?

주요 결과

• MEP는 추정 정확도 측면에서 여섯 개의 벤치마크 데이터셋에서 표준 유전적 프로그래밍(GP)을 뚜렷이 능가했다.
• 모든 테스트된 데이터셋에서 MEP는 GP보다 더 낮은 평균 절대 오차(MAE) 및 평균 제곱 오차(MSE) 값을 달성했다.
• MEP에서 다수의 적합도 함수를 사용함으로써 유도된 추정 모델의 강건성과 일반화 능력이 향상되었다.
• MEP는 이전 프로젝트의 실제 노력 값과 밀접하게 일치하는 효과적인 수학적 표현을 성공적으로 발견했다.
• 진화 과정 동안 MEP는 GP에 비해 뛰어난 안정성과 수렴 행동을 보였다.
• 결과적으로 MEP는 소프트웨어 노력 추정 작업에서 GP의 유망한 대안임을 확인했다.