[논문 리뷰] Estimating software reliability in maintenance phase through ann and statistics

Ahmad Mateen, Muhammad Azeem Akbar|arXiv (Cornell University)|2016. 05. 03.

Software Reliability and Analysis Research인용 수 5

한 줄 요약

이 논문은 소프트웨어 유지보수 시간을 추정하기 위해 인공신경망(ANN)과 통계 분석을 융합한 하이브리드 접근 방식을 제안한다. 특히 오류 수정 및 기능 강화에 소요되는 시간을 추정한다. 연구 결과, ANN는 기존의 통계적 방법보다 복잡한 비선형 관계를 포착함으로써 유지보수 데이터의 복잡한 특성을 반영하여 전통적인 모델보다 더 높은 예측 정확도를 보여, 유지보수 신뢰성 예측에서 뛰어난 성능을 발휘함을 입증한다.

ABSTRACT

Maintenance is the last and the most critical phase of the software development life cycle. It involves debugging of errors and different types of enhancements which are requested by the user. Software reliability regarding maintenance is the most crucial part as it depends upon the time and cost to correct the errors and make enchantements. It is often felt that software errors or correction takes time to be removed. The maintenance time depends upon the nature of the occurred errors and requested enhancements. In this research work we predict the software reliability in terms of time taken to maintain the errors and enhancements. Artificial Neural Network is used to analyze and predict the software reliability of the maintenance phase. At the end statistical results and proposed neural network results are also compared to make sure that forecasted results are equal to the output results. These results are compared to show that the ANN can understand the relationship between data in a better way. This research work also shows how much it is difficult to understand the nature of maintenance data.

연구 동기 및 목표

• 소프트웨어 유지보수 시간을 예측하는 데 있어 비용과 프로젝트 일정에 큰 영향을 미치는 도전 과제를 해결하기 위해.
• 유지보수 단계 동안 소프트웨어 신뢰성을 모델링하고 예측하기 위해 인공신경망(ANN)을 사용할 수 있는지 탐색하기 위해.
• ANN 기반 예측 성능를 기존 통계적 방법과 비교하여 예측 정확도와 신뢰성 평가하기 위해.
• 정확한 예측을 방해하는 유지보수 데이터 내의 본질적인 복잡성과 비선형 패턴을 이해하기 위해.

제안 방법

• 연구진은 오류 유형, 수정 소요 시간, 기능 강화 요청 등 역사적 소프트웨어 유지보수 데이터를 기반으로 훈련된 인공신경망(ANN) 모델을 개발했다.
• 입력 특성(예: 오류 심각도, 모듈 크기)과 유지보수 시간 간의 복잡한 비선형 관계를 학습하기 위해 다중 층과 뉴런을 갖춘 ANN를 설계했다.
• 기준 비교를 위해 표준 회귀 기법을 사용하여 통계 모델도 구축했다.
• 예측된 유지보수 시간과 실제 유지보수 시간을 비교하기 위해 평균 절대 오차(MAE) 및 최소 제곱근 오차(RMSE) 등의 지표를 사용하여 모델 성능을 평가했다.
• 다양한 유지보수 기록 간 일관성을 확보하기 위해 훈련 데이터를 전처리하여 입력 특성의 정규화를 수행했다.
• 최종적으로 ANN 모델과 통계 모델 간의 비교는 예측 정확도와 일반화 능력에 중점을 두었다.

실험 결과

연구 질문

• RQ1 역사적 데이터를 기반으로 인공신경망(ANN)이 소프트웨어 유지보수 시간을 효과적으로 모델링하고 예측할 수 있는가?
• RQ2 ANN의 예측 정확도는 기존의 통계적 모델에 비해 소프트웨어 유지보수 신뢰성 추정에서 어떻게 뛰어나게 되는가?
• RQ3 소프트웨어 유지보수 데이터 특성과 수정 소요 시간 또는 기능 강화 소요 시간 간의 관계는 어떠한가?
• RQ4 유지보수 데이터 내의 비선형 패턴은 기존의 통계적 방법의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 ANN 기반 예측은 소프트웨어 유지보수 단계에서 불확실성을 줄이고 신뢰성 추정을 향상시킬 수 있는가?

주요 결과

• ANN 모델은 기존의 통계적 모델에 비해 더 높은 예측 정확도를 보였으며, 평균 절대 오차(MAE)와 최소 제곱근 오차(RMSE)가 낮았다.
• ANN는 통계 모델이 효과적으로 표현하지 못한 유지보수 데이터의 복잡한 비선형 관계를 포착할 수 있었다.
• 통계 모델은 유지보수 데이터의 이질성과 이상치를 처리하는 데 한계를 보이며, 결과적으로 예측 신뢰성이 떨어졌다.
• 비교 분석을 통해 ANN가 소프트웨어 유지보수 과정의 동적이고 예측 불가능한 특성을 모델링하는 데 더 적합함을 확인했다.
• 실제 소프트웨어 프로젝트에서 ANN와 통계의 융합적 활용이 유지보수 시간 추정의 신뢰성을 향상시킨다는 것이 연구를 통해 검증되었다.