[논문 리뷰] BiLO-CPDP: Bi-Level Programming for Automated Model Discovery in Cross-Project Defect Prediction

Ke Li, Zilin Xiang외 2명|arXiv (Cornell University)|2020. 08. 31.

Software Engineering Research참고 문헌 86인용 수 4

한 줄 요약

이 논문은 자동화된 크로스프로젝트 결함 예측(CPDP) 모델 발견을 위한 최초의 이중수준 프로그래밍 프레임워크인 BiLO-CPDP를 제안한다. 이는 계층적인 상위 및 하위 수준 최적화를 통해 분류기와 전이 학습 학습기의 선택과 그 하이퍼파rameter를 동시에 최적화하며, 21개의 기존 CPDP 기법과 Auto-Sklearn보다 뛰어난 성능을 보이며, 특히 모델 조합 탐색을 위한 상위 수준에 더 많은 예산을 할당할 경우에 두드러진 성능 향상을 보인다.

ABSTRACT

Cross-Project Defect Prediction (CPDP), which borrows data from similar projects by combining a transfer learner with a classifier, have emerged as a promising way to predict software defects when the available data about the target project is insufficient. How-ever, developing such a model is challenge because it is difficult to determine the right combination of transfer learner and classifier along with their optimal hyper-parameter settings. In this paper, we propose a tool, dubbedBiLO-CPDP, which is the first of its kind to formulate the automated CPDP model discovery from the perspective of bi-level programming. In particular, the bi-level programming proceeds the optimization with two nested levels in a hierarchical manner. Specifically, the upper-level optimization routine is designed to search for the right combination of transfer learner and classifier while the nested lower-level optimization routine aims to optimize the corresponding hyper-parameter settings.To evaluateBiLO-CPDP, we conduct experiments on 20 projects to compare it with a total of 21 existing CPDP techniques, along with its single-level optimization variant and Auto-Sklearn, a state-of-the-art automated machine learning tool. Empirical results show that BiLO-CPDP champions better prediction performance than all other 21 existing CPDP techniques on 70% of the projects, while be-ing overwhelmingly superior to Auto-Sklearn and its single-level optimization variant on all cases. Furthermore, the unique bi-level formalization inBiLO-CPDP also permits to allocate more budget to the upper-level, which significantly boosts the performance.

연구 동기 및 목표

• 기존 연구에서 수시로 이루어지는 전이 학습기와 분류기의 최적 조합 및 하이퍼파rameter 선택 문제를 해결하기 위해.
• 기존 CPDP 기법들이 분류기 하이퍼파rameter에만 집중하거나 고정된 조합을 사용해 최적 성능에 도달하지 못하는 한계를 극복하기 위해.
• 통합 최적화 프레임워크를 통해 자동화되고 체계적인 고성능 CPDP 모델 발견을 가능하게 하기 위해.
• CPDP에서 모델 아키텍처 선택(상위 수준)과 하이퍼파ram터 튜닝(하위 수준) 간의 계산 예산 할당의 영향을 탐색하기 위해.
• 하이퍼파라미터 튜닝만으로는 부족하고, 전이 학습기와 분류기의 조합 최적화가 더 중요하다는 것을 입증하기 위해.

제안 방법

• CPDP 모델 발견을 이중수준 최적화 문제로 공식화한다: 상위 수준은 최적의 전이 학습기와 분류기 조합을 선택하고, 하위 수준은 각각의 하이퍼파라미터를 튜닝한다.
• 하위 수준 최적화가 상위 수준 내부에 내장된 계층적 최적화 구조를 사용하여, 각 후보 모델 조합에 대해 하이퍼파라미터가 최적화되도록 보장한다.
• 사전 설정 가능한 전이 학습기 및 분류기의 포트폴리오를 입력으로 사용하여 다양한 모델 아키텍처의 체계적 탐색을 가능하게 한다.
• 유연한 예산 할당 전략을 적용하여 상위 수준에 더 많은 계산 자원을 할당해 더 넓은 범위의 모델 조합 탐색을 가능하게 한다.
• 표준 머신러닝 평가 지표(AUC)와 통계적 검정(Scott-Knott, Wilcoxon 순위합 검정, 효과 크기)을 사용하여 성능 비교의 신뢰성을 확보한다.
• 기존 AutoML 원칙을 통합하지만, CPDP에서 모델 아키텍처와 하이퍼파라미터 최적화 간의 상호작용을 명시적으로 모델링함으로써 이를 확장한다.

실험 결과

연구 질문

• RQ1 이중수준 프로그래밍은 모델 아키텍처와 하이퍼파라미터를 동시에 최적화함으로써 고성능 CPDP 모델의 자동화된 발견에 효과적으로 기여할 수 있는가?
• RQ2 수작업으로 조합된 조합과 보고된 하이퍼파라미터를 사용하는 21개의 최첨단 CPDP 기법과 비교할 때 BiLO-CPDP의 성능는 어떠한가?
• RQ3 선도적인 AutoML 도구인 Auto-Sklearn보다 BiLO-CPDP는 CPDP 작업에서 더 뛰어난 성능을 보이는가?
• RQ4 상위 수준 최적화(모델 조합 탐색)에 더 많은 계산 예산을 할당할 경우와 하위 수준 최적화(하이퍼파라미터 튜닝)에 할당할 경우의 영향은 어떠한가?
• RQ5 CPDP에서 최적의 전이 학습기와 분류기 조합의 선택이 하이퍼파라미터 튜닝만으로는 부족하고 더 중요한가?

주요 결과

• BiLO-CPDP는 평가된 20개 프로젝트 중 70%에서 기존 21개의 CPDP 기법을 모두 앞서며, 자동화된 모델 발견에서의 우수성을 입증한다.
• BiLO-CPDP는 모든 20개 프로젝트에서 Auto-Sklearn과 그 단일 수준 최적화 변형보다 유의미하게 뛰어난 성능을 보이며, 이중수준 아키텍처의 우수성을 입증한다.
• 상위 수준 최적화(모델 조합 탐색)에 더 많은 계산 예산을 할당할 경우 성능 향상이 뚜렷하게 발생하며, 하이퍼파라미터 튜닝만으로는 부족하고 모델 조합 탐색이 더 영향력이 크다는 점을 확인한다.
• 실증 연구 결과, 최적의 전이 학습기와 분류기 조합 선택이 하이퍼파라미터 설정보다 더 결정적인 영향을 미친다는 것이 입증되었으며, 이는 동시 최적화의 필요성을 뒷받침한다.
• 이중수준 프로그래밍을 사용함으로써 더 민첩하고 효과적인 예산 할당 전략이 가능해져, 필요에 따라 모델 아키텍처 탐색을 우선순위로 설정할 수 있다.
• 통계적 검정 결과, BiLO-CPDP의 성능 향상은 랜덤 변동 때문이 아니며, 큰 효과 크기와 높은 신뢰도를 보이며 결과의 신뢰성을 확인한다.