[논문 리뷰] Learning best K analogies from data distribution for case-based software effort estimation

Mohammad Azzeh, Yousef Elsheikh|arXiv (Cornell University)|2017. 03. 11.

Software Engineering Research참고 문헌 18인용 수 6

한 줄 요약

이 논문은 소프트웨어 노력 추정을 위한 새로운 K 기반 사례 기반 추론(CBR) 기법을 제안하며, 데이터 분포를 분석함으로써 각 프로젝트당 유사한 사례의 최적 수(K)를 자동으로 결정하는 이분화 k-메디oids 군집화를 사용한다. 군집화를 통해 프로젝트별로 유사한 사례를 식별함으로써, 기존의 고정된 K를 사용하는 CBR 기법에 비해 추정 정확도를 향상시킨다.

ABSTRACT

Case-Based Reasoning (CBR) has been widely used to generate good software effort estimates. The predictive performance of CBR is a dataset dependent and subject to extremely large space of configuration possibilities. Regardless of the type of adaptation technique, deciding on the optimal number of similar cases to be used before applying CBR is a key challenge. In this paper we propose a new technique based on Bisecting k-medoids clustering algorithm to better understanding the structure of a dataset and discovering the the optimal cases for each individual project by excluding irrelevant cases. Results obtained showed that understanding of the data characteristic prior prediction stage can help in automatically finding the best number of cases for each test project. Performance figures of the proposed estimation method are better than those of other regular K-based CBR methods.

연구 동기 및 목표

• 사례 기반 추론(CBR)을 통한 소프트웨어 노력 추정에서 유사한 사례 수(K)를 최적화하는 데 도전하는 것.
• 고정된 값 대신 데이터 구조에서 K를 학습함으로써 K 선택의 주관성과 설정 복잡성을 줄이는 것.
• 데이터 기반 군집화를 통해 관련이 없는 사례를 제거함으로써 예측 성능을 향상시키는 것.
• 기본 데이터 분포에 맞게 적응하는 자동으로 프로젝트별로 K를 선택할 수 있도록 하는 것.

제안 방법

• 프로젝트 속성의 유사성 기반으로 의미 있는 하위군으로 데이터셋을 분할하기 위해 이분화 k-메디oids 군집화 알고리즘을 적용한다.
• 결과로 도출된 군집을 활용해 각 테스트 프로젝트에 가장 관련성이 높은 사례를 식별함으로써 프로젝트별로 K 값을 효과적으로 결정한다.
• 대상 프로젝트와 동일한 군집에서 사례를 선택함으로써 의미적 및 구조적 관련성을 확보한다.
• 유사하지 않은 군집의 사례를 제외하여 잡음이나 관련 없는 유사성 유추를 방지한다.
• 군집 크기와 분포에 기반해 데이터 기반 접근 방식을 활용해 각 프로젝트별로 동적으로 K를 할당한다.
• 선택된 사례를 표준 CBR 파이프라인에 통합하여 노력 추정을 수행한다.

실험 결과

연구 질문

• RQ1 주어진 데이터셋 내 각 개별 소프트웨어 프로젝트에 대해 최적의 유사한 사례 수(K)는 얼마인가?
• RQ2 데이터 군집화 기법이 사례 기반 추론을 통한 소프트웨어 노력 추정에서 관련 있는 사례 선택을 향상시킬 수 있는가?
• RQ3 데이터 분포에서 K를 학습하는 것이 고정된 K 기반 접근 방식보다 더 높은 추정 정확도를 제공하는가?
• RQ4 유사하지 않은 군집의 사례를 제외할 경우 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존의 고정된 K 기반 CBR 기법에 비해 뛰어난 추정 정확도를 달성한다.
• 데이터 분포에서 K를 학습함으로써 각 프로젝트에 가장 관련성이 높은 사례를 자동으로 식별함으로써 수동 설정에 대한 의존도를 감소시킨다.
• 이분화 k-메디oids 군집화의 사용은 데이터 구조를 효과적으로 포착하여 더 나은 사례 선택을 가능하게 한다.
• 유사하지 않은 군집의 사례를 제외함으로써 예측 성능이 크게 향상되며, 잡음을 최소화한다.