[논문 리뷰] Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms

Rafael Gomes Mantovani, Tomáš Horváth외 5명|arXiv (Cornell University)|2018. 12. 05.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 94개의 OpenML 데이터셋을 사용하여 CART 및 C4.5 의사결정수 나무 알고리즘의 초파rameter 튜닝에 대한 종합적인 실증 연구를 수행한다. 연구 결과, 대부분의 데이터셋에서 튜닝이 CART 성능을 유의미하게 향상시키는 것으로 나타났으며, C4.5의 경우 약 1/3의 데이터셋에서만 유익한 것으로 밝혀졌다. Irace가 가장 효과적인 튜닝 기법으로 나타났고, 성능에 가장 큰 영향을 미치는 초파rameter의 소수의 조합(예: minsplit, minbucket)이 모델 성능에 가장 큰 기여를 한다고 규명하였다.

ABSTRACT

Machine learning algorithms often contain many hyperparameters (HPs) whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these HP configurations and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive performance. However, insights into efficiently exploring this vast space of configurations and dealing with the trade-off between predictive and runtime performance remain challenging. Furthermore, there are cases where the default HPs fit the suitable configuration. Additionally, for many reasons, including model validation and attendance to new legislation, there is an increasing interest in interpretable models, such as those created by the Decision Tree (DT) induction algorithms. This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning for the two DT induction algorithms most often used, CART and C4.5. DT induction algorithms present high predictive performance and interpretable classification models, though many HPs need to be adjusted. Experiments were carried out with different tuning strategies to induce models and to evaluate HPs' relevance using 94 classification datasets from OpenML. The experimental results point out that different HP profiles for the tuning of each algorithm provide statistically significant improvements in most of the datasets for CART, but only in one-third for C4.5. Although different algorithms may present different tuning scenarios, the tuning techniques generally required few evaluations to find accurate solutions. Furthermore, the best technique for all the algorithms was the IRACE. Finally, we found out that tuning a specific small subset of HPs is a good alternative for achieving optimal predictive performance.

연구 동기 및 목표

• CART 및 C4.5 의사결정수 나무 유도 알고리즘의 예측 성능에 초파라미터 튜닝이 미치는 영향을 조사하기 위해.
• 다양한 분류 데이터셋에서 다양한 초파라미터 튜닝 기법의 효과성을 평가하기 위해.
• 통계적 및 민감도 분석을 통해 모델 성능에 가장 큰 영향을 미치는 초파라미터를 규명하기 위해.
• 튜닝이 유의미한 조건과 기본 설정이 충분한 조건을 결정하기 위해.
• 의사결정수 나무를 위한 지능형 초파라미터 추천 시스템 개발을 지원하기 위해.

제안 방법

• CART 및 C4.5(J48) 알고리즘을 사용하여 94개의 OpenML 벤치마크 데이터셋에서 실증 평가를 수행하였다.
• 다섯 가지 튜닝 기법 적용: 랜덤 서치(RS), 순차 모델 기반 최적화(SMBO), 입자 군집 최적화(PSO), 베이지안 최적화(BO), 반복 레이스(Irace).
• fANOVA(요인 무관 분산 분해)를 사용하여 초파라미터 중요도 평가 및 검색 공간 축소.
• 비모수적 검정(예: 윌콕슨 부호순위 검정)을 활용하여 튜닝된 설정과 기본 설정 간의 성능을 통계적으로 비교.
• 메타학습(MtL) 분석을 통해 튜닝 이점을 예측할 수 있는 데이터셋 특성(예: 클래스 수, 결정 경계 복잡도)을 규명.
• 재현성 및 향후 다른 알고리즘으로의 확장 가능성을 위해 코드 및 초파라미터 데이터를 공개.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 초파라미터 튜닝이 CART 및 C4.5의 예측 성능을 유의미하게 향상시키는가?
• RQ2 다양한 계산 예산에서 어떤 초파라미터 튜닝 기법이 가장 높은 성능을 낼 수 있는가?
• RQ3 최종 모델의 예측 정확도에 가장 큰 영향을 미치는 초파라미터는 무엇인가?
• RQ4 어떤 데이터셋 특성에서 튜닝이 기본 설정보다 더 큰 이점을 제공하는가?
• RQ5 완전한 검색 없이도 최적 성능를 달성할 수 있도록 최소한의 초파라미터 공간을 축소할 수 있는가?

주요 결과

• 트리닝은 대부분의 데이터셋에서 CART 성능을 통계적으로 유의미하게 향상시켰지만, C4.5의 경우 약 1/3의 데이터셋에서만 그러하였다.
• Irace 튜닝 기법이 다른 모든 기법보다 뛰어났으며, 특히 α = 0.1에서 뛰어난 성능을 보였고, 메타휴리스틱과 유사한 실행 시간으로 높은 성능를 달성하였다.
• 'minsplit' 및 'minbucket'과 같은 소수의 초파라미터가 fANOVA 분석을 통해 성능 변동의 주요 원인으로 규명되었다.
• 8개 이상의 클래스와 비선형 결정 경계를 가진 데이터셋에서 튜닝이 가장 유익했으며, 간단하고 명확하게 분리 가능한 데이터셋에서는 기본 설정이 충분하였다.
• 가장 영향력 있는 파rameter들로만 초파라미터 검색 공간을 축소함으로써 통계적으로 유의미한 성능 향상 수치가 더 높아졌다.
• 이 연구는 기본 초파라미터 설정이 많은 문제에서 충분히 유효하다는 실증적 증거를 제공하지만, 복잡하거나 변동성이 큰 데이터셋에서는 튜닝이 필수적임을 규명하였다.