[논문 리뷰] Hyperparameter Optimization for Effort Estimation

Tianpei Xia, Rahul Krishna외 4명|arXiv (Cornell University)|2018. 04. 28.

Software Engineering Research참고 문헌 73인용 수 33

한 줄 요약

이 논문은 소프트웨어 노력 추정을 위한 하이퍼파rameter 최적화 프레임워크인 OIL(Optimized Inductive Learning)을 제안한다. 이 프레임워크는 회귀 트리(CART)와 미분 진화나 FLASH와 같은 빠른 최적화 기법을 조합하여, 몇 분 내에 뛰어난 추정 정확도를 달성한다. 이는 기본 설정이나 더 느린 방법보다 우수하며, 실무 적용에 있어 하이퍼파rameter 튜닝이 효과적이고 실용적임을 보여준다.

ABSTRACT

Software analytics has been widely used in software engineering for many tasks such as generating effort estimates for software projects. One of the "black arts" of software analytics is tuning the parameters controlling a data mining algorithm. Such hyperparameter optimization has been widely studied in other software analytics domains (e.g. defect prediction and text mining) but, so far, has not been extensively explored for effort estimation. Accordingly, this paper seeks simple, automatic, effective and fast methods for finding good tunings for automatic software effort estimation. We introduce a hyperparameter optimization architecture called OIL (Optimized Inductive Learning). We test OIL on a wide range of hyperparameter optimizers using data from 945 software projects. After tuning, large improvements in effort estimation accuracy were observed (measured in terms of standardized accuracy). From those results, we recommend using regression trees (CART) tuned by different evolution combine with default analogy-based estimator. This particular combination of learner and optimizers often achieves in a few hours what other optimizers need days to weeks of CPU time to accomplish. An important part of this analysis is its reproducibility and refutability. All our scripts and data are on-line. It is hoped that this paper will prompt and enable much more research on better methods to tune software effort estimators.

연구 동기 및 목표

• 정확한 소프트웨어 노력 추정의 필수적인 필요성을 해결하기 위해, 이는 프로젝트 예산 책정과 성공에 직접적인 영향을 미친다.
• 기본 설정을 초월해 하이퍼파rameter 튜닝이 노력 추정 성능을 향상시키는지 조사하기 위해
• 빠르고 자동화된 하이퍼파rameter 최적화가 노력 추정에 실현 가능하고 효과적인지 평가하기 위해
• 실제 적용에 적합하고 효율적이며 높은 성능을 내는 학습기와 최적화 기법의 조합을 규명하기 위해

제안 방법

• OIL 프레임워크는 945개의 소프트웨어 프로젝트에서 다양한 최적화 기법을 사용해 하이퍼파rameter 튜닝을 자동화한다.
• 특히 회귀 트리(CART)에 초점을 맞추어 다양한 머신러닝 학습기를 평가하고, 최신 기법인 미분 진화나 FLASH 최적화 기법을 함께 테스트한다.
• 6,000개 이상의 조합에서 최적의 하이퍼파rameter를 식별하기 위해 성능 기반의 탐색 전략을 사용한다.
• 표준화된 정확도와 상대 오차를 핵심 지표로 삼아, ATLM과 LP4EE와 같은 주요 방법과의 벤치마크를 수행한다.
• 데이터 특성에 대한 가정을 피하기 위해(예: COCOMO 제약 조건 없음) 더 넓은 적용 가능성을 확보한다.
• 전체 파ip라인은 재현성과 향후 벤치마크를 지원하기 위해 오픈소스로 제공된다.

실험 결과

연구 질문

• RQ1 RQ1: '즉시 사용 가능한'(off-the-shelf) 기본 하이퍼파rameter 설정만으로도 정확한 노력 추정이 가능한가, 아니면 튜닝이 성능 향상에 상당한 기여를 하는가?
• RQ2 RQ2: 한 세트의 최적화된 하이퍼파rameter 설정을 다양한 데이터셋 간에 재사용할 수 있는가, 아니면 설정이 데이터셋에 따라 특화되어 있는가?
• RQ3 RQ3: 더 느린 방법과 비슷한 성능을 내는 빠른 하이퍼파rameter 최적화 방법은 실무 적용에 실현 가능한가, 즉 튜닝이 실용적인가?
• RQ4 RQ4: 어떤 특정한 학습기와 최적화 기법의 조합이 최소한의 시간 내에 가장 뛰어난 성능을 내는가?

주요 결과

• 튜닝된 학습기는 튜닝되지 않은 기본 설정보다 뚜렷이 뛰어난 성능을 보이며, 이는 '즉시 사용 가능한' 설정이 노력 추정에선 사용을 중단해야 함을 시사한다.
• 일반적인 기본 하이퍼파rameter 설정은 존재하지 않으며, 최적 설정은 데이터셋 간에 크게 다름을 보이며, 새로운 데이터에 대해 재튜닝이 필수적임을 나타낸다.
• 더 빠른 최적화 기법인 미분 진화나 FLASH는 더 느린 방법과 비슷한 성능을 달성함으로써, 하이퍼파rameter 튜닝이 동시에 빠르고 효과적일 수 있음을 입증한다.
• CART와 함께 미분 진화나 FLASH를 사용하면 몇 분 내에 최신 기술 수준의 정확도를 달성하며, 수 시간 또는 수 일 이상 소요되는 기존 방법들을 능가한다.
• 이 연구는 단순하고 빠르며 효과적인 베이스라인을 규명했다: 새로운 데이터셋에 대해 CART에 FLASH나 미분 진화를 사용할 것.
• 결과는 하이퍼-하이퍼파rameter 최적화가 실현 가능할 수 있음을 시사하며, 빠른 최적화 기법인 FLASH가 더 느린 최적화 기법 자체를 효율적으로 튜닝할 수 있음을 보여준다.