[논문 리뷰] To tune or not to tune? An Approach for Recommending Important Hyperparameters

Mohamadjavad Bahmani, Radwa El Shawi외 2명|arXiv (Cornell University)|2021. 08. 30.

Machine Learning and Data Classification참고 문헌 33인용 수 5

한 줄 요약

이 논문은 200개의 데이터셋에서 6개의 분류기에서 가장 중요한 초파rameter를 특정하기 위해 기능 분산분석(ANOVA)을 사용하는 통계적 프레임워크를 제안한다. 이는 실무자가 초파라미터 튜닝이 가치가 있는지 여부를 결정하는 데 도움을 준다. 연구 결과, 그래디언트 부스팅과 어댑티브 부스팅이 가장 튜닝 가능성이 높고 성능이 뛰어나며, 초파라미터 중요도는 알고리즘과 데이터셋에 따라 크게 달라진다.

ABSTRACT

Novel technologies in automated machine learning ease the complexity of algorithm selection and hyperparameter optimization. Hyperparameters are important for machine learning models as they significantly influence the performance of machine learning models. Many optimization techniques have achieved notable success in hyperparameter tuning and surpassed the performance of human experts. However, depending on such techniques as blackbox algorithms can leave machine learning practitioners without insight into the relative importance of different hyperparameters. In this paper, we consider building the relationship between the performance of the machine learning models and their hyperparameters to discover the trend and gain insights, with empirical results based on six classifiers and 200 datasets. Our results enable users to decide whether it is worth conducting a possibly time-consuming tuning strategy, to focus on the most important hyperparameters, and to choose adequate hyperparameter spaces for tuning. The results of our experiments show that gradient boosting and Adaboost outperform other classifiers across 200 problems. However, they need tuning to boost their performance. Overall, the results obtained from this study provide a quantitative basis to focus efforts toward guided automated hyperparameter optimization and contribute toward the development of better-automated machine learning frameworks.

연구 동기 및 목표

• 다양한 데이터셋에서 기계학습 모델 성능에 영향을 미치는 주요 초파라미터를 규명하는 것.
• 초파라미터 최적화에서의 성능 향상도를 측정하여 다양한 분류기의 튜닝 가능성을 정량화하는 것.
• 실무자가 초파라미터 튜닝에 시간을 투자할 가치가 있는지에 대한 데이터 기반 가이드라인을 제공하는 것.
• 실증적 증거에 기반해 강건한 기본 초파라미터 설정과 최고 성능을 보이는 알고리즘을 규명하는 것.
• 알고리즘별 초파라미터 중요도와 상호작용을 드러내어 더 스마트한 AutoML 프레임워크 개발을 지원하는 것.

제안 방법

• 기능 분산분석(ANOVA)을 활용해 모델 성능 분산을 개별 초파라미터 기여도와 그 상호작용 기여도로 분해한다.
• OpenML에서 확보한 200개의 데이터셋 벤치마크를 사용해 6개의 분류기(랜덤 포레스트, 서포트 벡터 머신, 어댑티브 부스팅, 엑스트라 트리, 결정 트리, 그래디언트 부스팅)를 평가한다.
• 모든 데이터셋에서 500개의 구성에 대해 베이지안 최적화를 적용하여 성능 추정의 신뢰성을 확보한다.
• 기본 설정과 최고 성능 설정 간의 성능 향상 표준편차를 튜닝 가능성 지표로 측정한다.
• 모든 데이터셋에서 평균 AUC 성능 기반으로 알고리즘 순위를 매기고, Wilcoxon 부호 순위 검정을 통해 통계적 유의성을 평가한다.
• 이전 연구(van Rijn과 Hutter, 2017)의 결과를 재사용하고 검증하여 일관성과 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 6개의 분류기 각각에 대해 가장 영향력 있는 초파라미터는 무엇인가?
• RQ2 각 알고리즘에 대해 초파라미터 튜닝을 통해 얼마나 많은 성능 향상을 기대할 수 있는가?
• RQ3 어느 기계학습 알고리즘이 가장 튜닝 가능성이 높고, 다양한 데이터셋에서 다른 알고리즘보다 뛰어나게 성능을 내는가?
• RQ4 분류기 간 상대적 성능는 데이터셋에 따라 어떻게 달라지며, 일관되게 상위 성능를 보이는 알고리즘이 있는가?
• RQ5 튜닝이 최소화되면서도 높은 성능를 유지할 수 있는 강건한 기본 초파라미터 설정을 식별할 수 있는가?

주요 결과

• 그래디언트 부스팅과 어댑티브 부스팅이 가장 튜닝 가능성이 높고, 200개의 데이터셋에서 다른 알고리즘보다 뚜렷이 뛰어난 성능를 보였다.
• 성능 향상의 표준편차—튜닝 가능성 지표로 사용된 값—은 서포트 벡터 머신, 그래디언트 부스팅, 엑스트라 트리가 높은 튜닝 가능성을 보였고, 결정 트리와 랜덤 포레스트는 가장 낮은 튜닝 가능성을 보였다.
• 가장 튜닝 가능성이 낮음에도 불구하고, 랜덤 포레스트와 결정 트리는 강력한 성능를 보였으며, 이는 실무에서 단순함이 효과적일 수 있음을 시사한다.
• 단일 알고리즘이 모든 데이터셋에서 우월하지는 않았다: 서포트 벡터 머신이 그래디언트 부스팅을 16개의 데이터셋에서 앞서는 것으로 나타나, 데이터 특성에 따라 알고리즘 선택이 중요함을 보여준다.
• 그래디언트 부스팅과 어댑티브 부스팅 간 성능 차이가 통계적으로 유의미하지 않다(p > 0.05)는 점을 고려하면, 실무에서 두 알고리즘이 유사한 효과를 발휘할 수 있음을 시사한다.
• 초파라미터 중요도는 알고리즘 간에 크게 달라지며, XGBoost 유사 파rameter(예: 학습률, 최대 깊이)가 그래디언트 부스팅과 어댑티브 부스팅에서 가장 영향력 있는 요소로 나타났다.