[논문 리뷰] The Impact of Automated Parameter Optimization on Defect Prediction Models

Chakkrit Tantithamthavorn, Shane McIntosh외 2명|arXiv (Cornell University)|2018. 01. 31.

Software Engineering Research참고 문헌 133인용 수 27

한 줄 요약

이 연구는 18개의 데이터셋과 26종류의 분류 기법을 사용하여 소프트웨어 결함 예측 모델에서 자동 매개변수 최적화를 조사한다. 최적화가 AUC 성능을 최대 40个百分点 향상시키고, 모델의 안정성을 높이며, 변수 중요도 순위를 크게 이동시키며, 데이터셋 간에 이식 가능한 최적 설정을 가능하게 한다—특히 C5.0 및 신경망과 같은 덜 일반적인 분류기에서 두드러진다.

ABSTRACT

Defect prediction models---classifiers that identify defect-prone software modules---have configurable parameters that control their characteristics (e.g., the number of trees in a random forest). Recent studies show that these classifiers underperform when default settings are used. In this paper, we study the impact of automated parameter optimization on defect prediction models. Through a case study of 18 datasets, we find that automated parameter optimization: (1) improves AUC performance by up to 40 percentage points; (2) yields classifiers that are at least as stable as those trained using default settings; (3) substantially shifts the importance ranking of variables, with as few as 28% of the top-ranked variables in optimized classifiers also being top-ranked in non-optimized classifiers; (4) yields optimized settings for 17 of the 20 most sensitive parameters that transfer among datasets without a statistically significant drop in performance; and (5) adds less than 30 minutes of additional computation to 12 of the 26 studied classification techniques. While widely-used classification techniques like random forest and support vector machines are not optimization-sensitive, traditionally overlooked techniques like C5.0 and neural networks can actually outperform widely-used techniques after optimization is applied. This highlights the importance of exploring the parameter space when using parameter-sensitive classification techniques.

연구 동기 및 목표

• 다양한 데이터셋에서 자동 매개변수 최적화가 결함 예측 모델 성능에 미치는 영향을 평가하기 위해.
• 최적화된 매개변수 설정이 소프트웨어 시스템 간에 모델의 안정성, 해석 가능성, 이식 가능성 향상에 기여하는지 평가하기 위해.
• 격자 탐색, 무작위 탐색, 유전 알고리즘, 미분 진화 알고리즘의 네 가지 최적화 기법의 계산 비용과 효과성을 비교하기 위해.
• 기존에 간과되던 분류기(예: C5.0, 신경망)가 적절히 조정된 후에는 널리 사용되는 기법들(예: 랜덤 포레스트, SVM)을 능가할 수 있는지 확인하기 위해.
• 한 데이터셋에서 도출된 최적 매개변수 설정이 다른 데이터셋으로 이식될 때 성능 저하가 최소한으로 발생하는지 조사하기 위해.

제안 방법

• 격자 탐색, 무작위 탐색, 유전 알고리즘, 미분 진화 알고리즘의 네 가지 자동 매개변수 최적화 기법을 26종의 분류 알고리즘에 적용하였다.
• 성능 평가에 12개의 지표를 사용하였으며, 이 중 3개는 임계치에 의존하지 않는(예: AUC) 지표이고, 9개는 임계치에 의존하는(예: 정밀도, 재현율) 지표였다.
• Eclipse, Mylyn, Xalan, Apache Commons를 포함한 오픈소스 및 프라이빗 소프트웨어 시스템으로부터의 18개의 실제 소프트웨어 데이터셋을 대상으로 사례 연구를 수행하였다.
• 성능 안정성과 결과의 견고성을 확보하기 위해 10겹 교차검증을 사용하였다.
• 최적화 이후 특성 순위의 변화를 평가하기 위해 변수 중요도 분석을 수행하였다.
• 최적화된 설정을 한 데이터셋에서 다른 데이터셋으로 적용하고 성능 저하를 측정하여 매개변수 이식 가능성 테스트를 수행하였다.

실험 결과

연구 질문

• RQ1 자동 매개변수 최적화가 결함 예측 모델의 AUC 성능을 얼마나 향상시키는가?
• RQ2 매개변수 최적화가 다양한 데이터셋 간의 결함 예측 모델의 안정성에 어떤 영향을 미치는가?
• RQ3 최적화 이후 변수 중요도 순위는 어떻게 변화하며, 상위 특성의 순위 유지 정도는 어느 정도인가?
• RQ4 한 데이터셋에서 도출된 최적 매개변수 설정을 다른 데이터셋으로 이식할 경우 성능 저하가 최소한으로 발생하는가?
• RQ5 다양한 분류 기법에 대해 자동 매개변수 최적화를 적용할 때 발생하는 계산적 부담은 어느 정도인가?

주요 결과

• 자동 매개변수 최적화로 AUC 성능이 최대 40个百分点 향상되었으며, 26개 분류 기법 중 16개에서 눈에 띄는 성능 향상을 보였다.
• 최적화된 모델은 기본 설정 모델과 동일하거나 더 높은 안정성을 보였으며, 데이터셋 간 분산 증가가 유의미하게 관찰되지 않았다.
• 최적화된 모델에서 상위로 평가된 변수의 28%만이 비최적화 모델에서도 상위로 평가되었으며, 이는 특성 중요도의 상당한 이동을 의미한다.
• 20개의 가장 민감한 매개변수 중 17개의 최적 설정이 데이터셋 간 이식 가능했으며, 통계적으로 유의미한 성능 저하 없이 유지되었다.
• 연구된 26개 분류 기법 중 12개에 대해 최적화의 추가 계산 비용이 30분 이내였다.
• 기존에 간과되던 분류기인 C5.0 및 신경망이 최적화 후 랜덤 포레스트 및 SVM과 같은 널리 사용되는 기법들을 능가하는 것으로 나타나, 민감한 알고리즘에 대한 매개변수 조정의 중요성을 강조한다.