[논문 리뷰] Why Software Effort Estimation Needs SBSE

Tianpei Xia, Jianfeng Chen외 3명|arXiv (Cornell University)|2018. 04. 02.

Software Engineering Research참고 문헌 48인용 수 3

한 줄 요약

이 논문은 소프트웨어 프로젝트의 노력 추정 모델을 자동으로 구성하기 위해 미분 진화를 사용하는 CPU 경량 SBSE 프레임워크인 OIL을 제안한다. 945개 프로젝트에서 테스트한 결과, ABE0 및 ATLM과 같은 널리 사용되는 방법들보다도 40~160회의 평가만으로도 유의미하게 낮은 추정 오차를 달성했으며, 표준 랩탑에서 중앙값 실행 시간이 6분 미만이었다.

ABSTRACT

Industrial practitioners now face a bewildering array of possible configurations for effort estimation. How to select the best one for a particular dataset? This paper introduces OIL (short for optimized learning), a novel configuration tool for effort estimation based on differential evolution. When tested on 945 software projects, OIL significantly improved effort estimations, after exploring just a few configurations (just a few dozen). Further OIL's results are far better than two methods in widespread use: estimation-via-analogy and a recent state-of-the-art baseline published at TOSEM'15 by Whigham et al. Given that the computational cost of this approach is so low, and the observed improvements are so large, we conclude that SBSE should be a standard component of software effort estimation.

연구 동기 및 목표

• 수천 가지 가능한 구성 설정이 존재하는 상황에서 주어진 데이터셋에 가장 적합한 노력 추정 방법을 선택하는 데 도전하는 것.
• 기존 진화 알고리즘의 높은 평가 비용을 피하기 위해, SBSE의 계산 부담을 줄이기 위해 CPU 경량 접근법을 개발하는 것.
• 자동 구성 기반 SBSE가 ATLM 및 ABE0와 같은 널리 사용되는 기준 방법보다 유의미하게 높은 추정 정확도를 달성할 수 있음을 보여주는 것.
• 제한된 계산 자원과 작은 데이터셋 조건에서도 SBSE가 실용적이고 필수적임을 보여주는 것.
• 상한 효과 또는 본질적인 데이터 제약이 노력 추정 모델의 성능을 제한하는지 조사하고, 이러한 조건 하에서도 SBSE가 여전히 상당한 성능 향상을 이끌 수 있는지 탐구하는 것.

제안 방법

• OIL은 유사도 기반 노력 추정(ABE) 방법의 구성 공간을 탐색하기 위해 미분 진화(DE)를 검색 알고리즘으로 사용한다.
• 후보 구성 설정은 10겹 교차 검증을 사용하여 검증 데이터에 대한 모델 성능을 추정한다.
• OIL은 유사도 측정법, 정규화 방법, 이방성 처리 방식 등의 ABE 파라미터 조합 수천 가지를 체계적으로 탐색하여 최적의 구성 설정을 식별한다.
• 검색 과정은 DE의 변형, 교차 및 선택 메커니즘에 의해 이끌리며, Storn 등이 제안한 기본 설정을 사용하여 안정성과 효율성을 확보한다.
• 이 프레임워크는 낮은 계산 비용을 위해 설계되었으며, 8GB, 3GHz 데스크톱에서 945개 프로젝트에 대한 중앙값 실행 시간은 단 6분이었다.
• OIL은 연구자 및 실무자 공동체에서의 도입과 확장성을 고려해 재사용 가능한 Python pip 패키지로 구현되었다.

실험 결과

연구 질문

• RQ1 RQ1: 노력 추정에서 SBSE를 무시할 수 있는가? 데이터셋 간에 항상 최고 성능을 내는 몇몇 방법만 존재한다면, 조정은 피할 수 있는가?
• RQ2 RQ2: SBSE는 실무에서 너무 계산 비용이 많이 들지 않아야 하는가? 특히 개발자나 비즈니스 사용자에게 적용할 수 있는가?
• RQ3 RQ3: SBSE는 널리 사용되는 방법들인 ABE0 및 ATLM보다 더 나은 노력 추정 성능을 낼 수 있는가?
• RQ4 RQ4: 노력 추정에서 성능 향상을 제한하는 상한 효과가 존재하는가? 방법의 복잡성과는 무관하게 말이다?
• RQ5 RQ5: 평가 수를 증가시켜(예: 40에서 160으로) 더 나은 추정 성능을 얻을 수 있는가?

주요 결과

• OIL은 945개 소프트웨어 프로젝트 전반에서 ABE0 및 ATLM을 유의미하고 상당히 낮은 추정 오차로 초월했다.
• 모든 프로젝트에 대한 OIL의 10겹 교차 검증 중앙값 실행 시간은 표준 8GB, 3GHz 데스크톱 기계에서 단 6분이었다.
• 후보 구성 설정의 평가 수가 40번 뿐이어도 최적 또는 근사 최적 성능에 도달할 수 있었으며, 이는 SBSE가 저성능 하드웨어에서도 계산적으로 실현 가능함을 시사한다.
• 평가 수를 40에서 160으로 늘여도 추가적인 향상이 없었으며, 이는 최소한의 노력으로도 검색 공간이 효율적으로 탐색됨을 의미한다.
• 가장 뛰어난 추정 방법은 데이터셋 간에 크게 달라졌으며, 이는 어떤 한 방법도 항상 최적은 아니라는 것을 보여주며, 따라서 SBSE 기반 자동 구성의 필요성을 입증한다.
• 상한 효과의 증거가 관찰되었다: 일부 데이터셋은 신호가 제한되어 있었고, 무작위 탐색자조차도 DE와 거의 유사한 성능을 보였으며, 이는 일부 데이터 분포에서는 본질적인 성능 상한선이 존재함을 시사한다.