[논문 리뷰] Understanding the Automated Parameter Optimization on Transfer Learning for CPDP: An Empirical Study

Ke Li, Zilin Xiang외 3명|arXiv (Cornell University)|2020. 02. 08.

Software Engineering Research참고 문헌 103인용 수 10

한 줄 요약

이 논문은 교차 프로젝트 결함 예측(CPDP)에서 전이 학습의 자동화된 파라미터 최적화에 대한 최초의 실증 연구를 제시하며, 20개의 실세계 프로젝트에서 62개의 CPDP 기법을 평가한다. 연구 결과, 자동 최적화는 비용을 관리 가능한 수준으로 유지하면서 77%의 기법에서 성능을 크게 향상시키며, 분류 모델만 최적화하는 것보다 전이 학습 파라미터를 최적화하는 것이 더 큰 성능 향상을 가져옴을 확인하였다.

ABSTRACT

Data-driven defect prediction has become increasingly important in software engineering process. Since it is not uncommon that data from a software project is insufficient for training a reliable defect prediction model, transfer learning that borrows data/knowledge from other projects to facilitate the model building at the current project, namely cross-project defect prediction (CPDP), is naturally plausible. Most CPDP techniques involve two major steps, i.e., transfer learning and classification, each of which has at least one parameter to be tuned to achieve their optimal performance. This practice fits well with the purpose of automated parameter optimization. However, there is a lack of thorough understanding about what are the impacts of automated parameter optimization on various CPDP techniques. In this paper, we present the first empirical study that looks into such impacts on 62 CPDP techniques, 13 of which are chosen from the existing CPDP literature while the other 49 ones have not been explored before. We build defect prediction models over 20 real-world software projects that are of different scales and characteristics. Our findings demonstrate that: (1) Automated parameter optimization substantially improves the defect prediction performance of 77\% CPDP techniques with a manageable computational cost. Thus more efforts on this aspect are required in future CPDP studies. (2) Transfer learning is of ultimate importance in CPDP. Given a tight computational budget, it is more cost-effective to focus on optimizing the parameter configuration of transfer learning algorithms (3) The research on CPDP is far from mature where it is "not difficult" to find a better alternative by making a combination of existing transfer learning and classification techniques. This finding provides important insights about the future design of CPDP techniques.

연구 동기 및 목표

• 전이 학습과 분류를 결합한 교차 프로젝트 결함 예측(CPDP) 기법에 대해 자동 파라미터 최적화의 영향을 조사하는 것.
• 전이 학습 및 분류 구성 요소에서 비롯된 확장된 파rameter 공간을 감안할 때, 초파rameter 튜닝이 CPDP 성능에 미치는 영향에 대한 체계적인 이해가 부족한 점을 보완하는 것.
• 계산 자원 제약 조건 하에서 어떤 구성 요소(전이 학습 대비 분류)가 최적화에서 가장 큰 이점을 얻는지 특정하여 향후 CPDP 연구에 실질적인 통찰을 제공하는 것.
• 기존 CPDP 기법들이 충분히 성숙했는지, 아니면 기존 전이 학습 및 분류 알고리즘을 새로운 방식으로 조합함으로써 더 높은 성능을 달성할 수 있는지 탐색하는 것.

제안 방법

• 기존 문헌에서 13개, 새로 조합한 49개의 전이 학습 및 분류 알고리즘 기법을 포함한 총 62개의 CPDP 기법을 평가하였다.
• 일반화 가능성을 확보하기 위해 다양한 규모와 특성을 지닌 20개의 실세계 소프트웨어 프로젝트에서 실험을 수행하였다.
• 그리드 서치 또는 유사한 방법을 사용하여 전이 학습 및 분류 단계의 초파라미터를 최적화하기 위해 자동 파라미터 최적화를 적용하였다.
• 표준 결함 예측 지표(예: F1-score, AUC)를 사용하여 성능을 측정하고, 유의성 평가를 위해 통계적 검정(예: 윌코크슨 부호순위 검정)을 적용하였다.
• 성능 향상의 실용적 의미를 평가하기 위해 효과 크기 분석(Cohen’s d)을 사용하였다.
• 고정된 계산 자원 예산 하에서 전이 학습 파라미터 최적화와 분류 파라미터 최적화의 영향을 비교하였다.

실험 결과

연구 질문

• RQ1 RQ1: 자동 파라미터 최적화는 예측 정확도 측면에서 CPDP 기법의 성능에 얼마나 큰 기여를 하는가?
• RQ2 RQ2: 제한된 계산 자원 예산 하에서 최적화할 때, 전이 학습 또는 분류 구성 요소 중 어느 것이 더 큰 성능 향상을 가져오는가?
• RQ3 RQ3: 현재 최고 수준의 CPDP 기법들은 충분히 성숙했는가, 아니면 기존 전이 학습 및 분류 기법을 새로운 방식으로 조합함으로써 더 높은 성능을 달성할 수 있는가?

주요 결과

• 평가된 62개의 CPDP 기법 중 77%에서 자동 파라미터 최적화가 성능을 유의미하게 향상시키며, Cohen의 기준에 따라 큰 효과 크기를 기록하였다.
• 계산 자원 예산이 엄격한 조건에서도 전이 학습 파라미터 최적화가 분류 파라미터 최적화보다 더 큰 성능 향상을 가져오며, 이는 더 비용 효율적인 전략임을 확인하였다.
• 대부분의 경우 통계적으로 가장 뛰어난 성능을 보인 CPDP 기법은 새로 조합한 49개의 기법 중 하나였으며, 이는 현재 최고 수준의 기법들이 아직 충분히 성숙하지 않았음을 시사한다.
• 자동 최적화로 얻는 성능 향상은 통계적으로도 유의미하며 실용적으로도 의미 있는 바를 지닌다. 특히 전이 학습 구성 요소에 적용했을 때 더욱 두드러진다.
• 이 연구는 기본 설정 또는 즉시 사용 가능한 설정을 그대로 사용할 경우 성능이 최적화되지 않으며, 이는 CPDP 연구의 재현 가능성과 신뢰성에 악영향을 미칠 수 있음을 확인하였다.
• 결과적으로 향후 CPDP 연구는 전이 학습 파라미터의 지능적인 최적화를 우선시하고, 더 넓은 알고리즘 조합 탐색을 고려해야 할 것으로 제안한다.