[논문 리뷰] DD-EbA: An algorithm for determining the number of neighbors in cost estimation by analogy using distance distributions

Makrina Viola Kosti, Nikolaos Mittas외 1명|arXiv (Cornell University)|2010. 12. 28.

Software Engineering Research참고 문헌 4인용 수 8

한 줄 요약

DD-EbA는 거리 분포를 사용하여 유사도 기반 비용 추정에서 최적의 이웃 수를 동적으로 결정하는 새로운 알고리즘으로, 고정된 이웃 수가 필요 없도록 한다. 분포 기반의 거리 측정법을 활용함으로써 각 프로젝트의 고유성을 반영하여 계산 비용을 증가시키지 않으면서도 정확도를 향상시킨다. 소프트웨어 비용 추정에 대한 실험을 통해 검증되었다.

ABSTRACT

Case Based Reasoning and particularly Estimation by Analogy, has been used in a number of problem-solving areas, such as cost estimation. Conventional methods, despite the lack of a sound criterion for choosing nearest projects, were based on estimation using a fixed and predetermined number of neighbors from the entire set of historical instances. This approach puts boundaries to the estimation ability of such algorithms, for they do not take into consideration that every project under estimation is unique and requires different handling. The notion of distributions of distances together with a distance metric for distributions help us to adapt the proposed method (we call it DD-EbA) each time to a specific case that is to be estimated without loosing in prediction power or computational cost. The results of this paper show that the proposed technique achieves the above idea in a very efficient way.

연구 동기 및 목표

• 소프트웨어 비용 추정에 있어 유사도 기반 추정(EbA)에서 고정된 이웃 수의 한계를 해결하기 위해.
• 각 추정 대상 프로젝트의 고유성에 따라 이웃 수를 적응적으로 조정할 수 있는 방법을 개발하기 위해.
• 계산 비용 증가 없이도 높은 예측 정확도를 유지하기 위해.
• 거리 분포와 분포 거리 측정법을 활용하여 이웃 선택을 이끌기 위해.
• 기존의 고정된 k값 기반 접근 방식에 대체할 수 있는 데이터 기반의 적응형 대안을 제공하기 위해.

제안 방법

• 알고리즘은 대상 프로젝트와 케이스 베이스 내 모든 이력 프로젝트 간의 거리 분포를 분석한다.
• 확률 분포 간 유사도를 정량화하기 위해 확률 분포에 대한 거리 측정법을 적용한다.
• 대상 프로젝트 주변의 거리 분포의 형태와 산포도에 기반하여 이웃 수를 동적으로 선택한다.
• 통계적으로 의미 있는 이웃 영역을 분포 특성으로 식별함으로써 임의의 k값을 피한다.
• 기존의 사례 기반 추론 파이프라인에 원활하게 통합되며, 핵심 추론 로직을 변경하지 않는다.
• 알고리즘은 계산 효율성이 뛰어나 성능을 유지하면서도 적응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비용 추정에서 이웃 수를 사전에 고정된 값으로 설정하는 대신, 어떻게 동적으로 결정할 수 있는가?
• RQ2 거리 분포가 소프트웨어 비용 추정에서 프로젝트 이웃을 선택하는 데 신뢰할 수 있는 기반을 제공할 수 있는가?
• RQ3 분포 기반 거리 측정법을 사용할 경우 고정된 k값 기반 접근 방식에 비해 정확도가 향상되는가?
• RQ4 제안된 방법은 계산 비용을 증가시키지 않으면서도 예측 성능을 향상시킬 수 있는가?
• RQ5 다양한 프로젝트 유형과 유사성 패턴을 가진 환경에서도 알고리즘이 강건한가?

주요 결과

• DD-EbA 알고리즘은 지역 거리 분포에 기반하여 이웃 수를 동적으로 결정함으로써 고정된 k값이 필요 없음을 입증했다.
• 각 대상 프로젝트의 고유한 유사성 구조에 적응함으로써 추정 정확도를 향상시켰다.
• 분포 거리 측정법의 사용은 계산 비용 증가 없이도 강력하고 의미 있는 이웃 선택을 가능하게 하였다.
• 3d 인공지능 소프트웨어 공학 워크숍에서의 실증 결과는 이론적 비용 추정 시나리오에서의 방법의 효과성을 입증했다.
• 기존의 고정 k값 기반 방법보다 더 높은 유연성을 제공하면서도 높은 예측 성능를 유지하였다.
• 알고리즘이 정확하고 효율적이며, 기존 사례 기반 추정 시스템에 통합하기에 적합함을 입증했다.