[논문 리뷰] An empirical study on hyperparameter tuning of decision trees.

Rafael Gomes Mantovani, Tomáš Horváth외 4명|arXiv (Cornell University)|2018. 12. 05.

Machine Learning and Data Classification참고 문헌 58인용 수 35

한 줄 요약

이 논문은 94개의 OpenML 데이터셋을 사용하여 CART, C4.5, CTree 세 가지 의사결정트리 알고리즘에서 초파rameter 튜닝을 실증적으로 조사한다. 결과적으로 대부분의 경우 CART에서는 튜닝이 성능을 크게 향상시키지만, C4.5와 CTree는 약 1/3의 데이터셋에서만 유의미한 향상을 보이며, Irace가 가장 효과적인 최적화 기법으로 나타났고, 성능 향상의 대부분을 차지하는 것은 소수의 초파라미터였다.

ABSTRACT

Machine learning algorithms often contain many hyperparameters whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these hyperparameter configurations, and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive accuracy. However, we lack insight into how to efficiently explore this vast space of configurations: which are the best optimization techniques, how should we use them, and how significant is their effect on predictive or runtime performance? This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning on three Decision Tree induction algorithms, CART, C4.5 and CTree. These algorithms were selected because they are based on similar principles, have presented a high predictive performance in several previous works and induce interpretable classification models. Additionally, they contain many interacting hyperparameters to be adjusted. Experiments were carried out with different tuning strategies to induce models and evaluate the relevance of hyperparameters using 94 classification datasets from OpenML. Experimental results indicate that hyperparameter tuning provides statistically significant improvements for C4.5 and CTree in only one-third of the datasets, and in most of the datasets for CART. Different tree algorithms may present different tuning scenarios, but in general, the tuning techniques required relatively few iterations to find accurate solutions. Furthermore, the best technique for all the algorithms was the Irace. Finally, we find that tuning a specific small subset of hyperparameters contributes most of the achievable optimal predictive performance.

연구 동기 및 목표

• 세 가지 널리 사용되는 의사결정트리 알고리즘인 CART, C4.5, CTree에서 초파라미터 튜닝의 영향을 예측 성능에 미치는 영향을 조사하기 위해.
• 다양한 초파라미터 최적화 기법이 모델 정확도 및 런타임 효율성 향상에 얼마나 효과적인지 평가하기 위해.
• 최적의 예측 성능를 달성하는 데 가장 크게 기여하는 초파라미터를 특정하기 위해.
• 튜닝이 다양한 데이터셋과 알고리즘 전반에서 일관되게 유익한지 여부를 확인하기 위해.
• 의사결정트리 유도에 있어 효율적인 초파라미터 탐색 전략에 대한 실용적 지침을 제공하기 위해.

제안 방법

• Bayesian 최적화, 진화 알고리즘, 무작위 탐색을 포함한 포괄적인 초파라미터 튜닝 전략을 적용하여 CART, C4.5, CTree 세 가지 의사결정트리 알고리즘에 적용하였다.
• 모든 알고리즘 간 튜닝 성능를 비교하기 위해 최첨단 자동 설정 도구인 Irace 최적화 프레임워크를 사용하였다.
• OpenML 플랫폼에서 확보한 94개의 다양한 이진 및 다중분류 분류 데이터셋에서 모델 성능을 평가하였다.
• 튜닝으로 인한 성능 향상이 데이터셋 전반에서 의미 있는지 평가하기 위해 통계적 유의성 검증을 실시하였다.
• 개별 초파라미터의 기여도를 분리하기 위해 분석 실험(ablation studies)를 수행하였다.
• 성능와 효율성의 상충관계를 평가하기 위해 예측 정확도와 계산 비용을 모두 측정하였다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 CART, C4.5, CTree의 예측 성능에 초파라미터 튜닝이 어떻게 영향을 미치는가?
• RQ2 세 알고리즘 전반에서 가장 높은 성능 향상을 이끌어내는 초파라미터 최적화 기법은 무엇인가?
• RQ3 개별 초파라미터가 튜닝으로 인한 전체 성능 향상에 기여하는 상대적 기여도는 어떠한가?
• RQ4 보통 최적의 설정을 찾기 위해 필요한 튜닝 반복 수는 얼마나 되는가?
• RQ5 다양한 데이터셋에서 어떤 알고리즘이 튜닝으로 가장 크게 유익을 보이는가에 대한 일관된 패턴이 있는가?

주요 결과

• 초파라미터 튜닝은 대부분의 데이터셋에서 CART의 성능을 통계적으로 유의미하게 향상시켰지만, C4.5와 CTree는 약 1/3의 데이터셋에서만 유의미한 향상을 보였다.
• Irace 최적화 기법은 세 알고리즘 전반에서 다른 튜닝 전략보다 끈적임으로써 상대적으로 적은 반복 수로 높은 성능의 설정을 식별했다.
• 성능 향상의 대부분을 차지하는 것은 소수의 초파라미터였으며, 특히 트리 깊이, 분할에 필요한 최소 샘플 수, 신뢰도 임계값과 관련된 초파라미터들이 주요 기여를 하였다.
• 최적 설정을 찾기 위해 필요한 반복 수는 비교적 적었으며, 이는 효율적인 탐색 전략을 통해 과도한 계산 비용 없이도 뛰어난 결과를 도출할 수 있음을 시사한다.
• 튜닝의 영향은 알고리즘 간에 상당히 다름을 보였으며, 이는 튜닝 전략이 특정 알고리즘과 데이터셋 특성에 맞게 맞춤화되어야 함을 시사한다.
• 유사한 기본 원리를 공유하고 있음에도 불구하고, 세 알고리즘이 서로 다른 튜닝 행동을 보였으며, 이는 알고리즘별로 특화된 튜닝 접근법이 필요함을 강조한다.