[논문 리뷰] Why is Differential Evolution Better than Grid Search for Tuning Defect Predictors?

Wei Fu, Vivek Nair외 1명|arXiv (Cornell University)|2016. 09. 08.

Software Engineering Research참고 문헌 36인용 수 33

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 결함 예측 모델의 하이퍼파라미터 튜닝을 위한 미분 진화(DE)와 격자 탐색을 비교하며, 17개의 데이터셋을 대상으로 DE가 격자 탐색보다 210배 이상 빠르면서도 동등하거나 더 나은 성능 점수를 기록함을 발견했다. 저자들은 이 결과를 결함 예측 데이터의 낮은 내재 차원성 덕분에, 확률적 탐색 방법인 DE가 완전한 격자 탐색보다 더 효과적이라는 데 기인한다.

ABSTRACT

Context: One of the black arts of data mining is learning the magic parameters which control the learners. In software analytics, at least for defect prediction, several methods, like grid search and differential evolution (DE), have been proposed to learn these parameters, which has been proved to be able to improve the performance scores of learners. Objective: We want to evaluate which method can find better parameters in terms of performance score and runtime cost. Methods: This paper compares grid search to differential evolution, which is an evolutionary algorithm that makes extensive use of stochastic jumps around the search space. Results: We find that the seemingly complete approach of grid search does no better, and sometimes worse, than the stochastic search. When repeated 20 times to check for conclusion validity, DE was over 210 times faster than grid search to tune Random Forests on 17 testing data sets with F-Measure Conclusions: These results are puzzling: why does a quick partial search be just as effective as a much slower, and much more, extensive search? To answer that question, we turned to the theoretical optimization literature. Bergstra and Bengio conjecture that grid search is not more effective than more randomized searchers if the underlying search space is inherently low dimensional. This is significant since recent results show that defect prediction exhibits very low intrinsic dimensionality-- an observation that explains why a fast method like DE may work as well as a seemingly more thorough grid search. This suggests, as a future research direction, that it might be possible to peek at data sets before doing any optimization in order to match the optimization algorithm to the problem at hand.

연구 동기 및 목표

• 결함 예측 모델의 하이퍼파라미터 튜닝에서 성능과 런타임 측면에서 미분 진화(DE)와 격자 탐색 중 어느 것이 더 우수한지 평가하기 위해.
• 확률적 방법인 DE가 왜 하이퍼파라미터 튜닝에서 느린 완전한 격자 탐색보다 자주 승리하는지 탐구하기 위해.
• 이 상황에서 DE가 격자 탐색보다 뛰어난 효율성을 보이는 이유를 설명하는 데 내재 차원성이 어떤 역할을 하는지 탐색하기 위해.
• 데이터 특성(예: 차원수)에 따라 최적화 알고리즘을 선택하는 데 대한 경험적 증거를 제공하기 위해.

제안 방법

• 연구는 SEACRAFT 레포지터리에서 공개된 17개의 결함 예측 데이터셋을 사용하며, 각 데이터셋은 14개의 정적 코드 메트릭스를 특성으로 포함한다.
• CART와 랜덤 포레스트 두 개의 학습기에서 DE, 격자 탐색, 랜덤 탐색의 세 가지 튜닝 방법을 적용한다.
• 성능 평가에는 AUC, AUC_{20}, 정밀도, F-메이저를 사용하며, 안정성을 확보하기 위해 20회의 독립 실행을 실시한다.
• 런타임 비용은 각 데이터셋에서 모든 튜닝 과정의 시작 및 종료 시간을 기록하여 측정한다.
• 통계적 유의성은 DE와 격자 탐색 결과를 반복 실험 간 비교하기 위해 Scott-Knott 비모수적 검정을 사용한다.
• 이론적 설명은 Bergstra와 Bengio의 주장에 기반하며, 낮은 차원 공간에서는 랜덤 및 확률적 탐색이 격자 탐색을 능가한다고 주장한다. 이는 Papakroni와 Provence의 경험적 발견—결함 예측 데이터에서 낮은 내재 차원성이 존재한다는 점—에 의해 뒷받침된다.

실험 결과

연구 질문

• RQ1 RQ1: 하이퍼파라미터 튜닝은 결함 예측 모델의 성능을 향상시키는가?
• RQ2 RQ2: 성능 점수(AUC, AUC_{20}, 정밀도, F-메이저) 측면에서 격자 탐색이 DE보다 통계적으로 더 우수한가?
• RQ3 RQ3: 런타임 비용 측면에서 DE는 격자 탐색보다 더 효율적인가?
• RQ4 RQ4: DE는 더 완전하지 않은데도 불구하고 왜 격자 탐색만큼 또는 더 잘 성능을 내는가?
• RQ5 RQ5: 내재 차원성이 이 두 튜닝 방법 간의 성능 차이를 설명할 수 있는가?

주요 결과

• DE는 17개의 결함 예측 데이터셋에서 격자 탐색과 동등하거나 더 나은 성능 점수를 기록했으며, AUC, AUC_{20}, 정밀도, F-메이저에서 유의미한 저하가 없었다.
• CART에서 정밀도를 기준으로 하면 격자 탐색이 17개 데이터셋 중 6개에서 통계적으로 더 우수했지만, 이는 일관된 우위를 의미하지는 않았다.
• DE는 17개의 데이터셋에서 랜덤 포레스트 튜닝을 평균적으로 격자 탐색보다 210배 이상 빠르게 수행했으며, 런타임 비용을 크게 감소시켰다.
• 결과는 결함 예측 데이터의 낮은 내재 차원성(이전 연구로 확인됨)이 확률적 방법인 DE가 완전한 격자 탐색을 능가하는 이유를 설명할 수 있음을 시사한다.
• 20회의 반복 실행 결과는 DE의 성능과 효율성이 여러 시행에 걸쳐 일관되게 유지됨을 보여주며, 결과의 타당성을 뒷받침한다.
• 연구는 튜닝이 고성능 결함 예측 모델을 위한 필수 조건이며, 특히 낮은 차원성 데이터 공간에서 DE가 속도와 효과성 면에서 뛰어난 선택임을 결론 내린다.