[논문 리뷰] Importance of Tuning Hyperparameters of Machine Learning Algorithms

Hilde Weerts, Andreas Mueller외 1명|arXiv (Cornell University)|2020. 07. 15.

Machine Learning and Data Classification참고 문헌 13인용 수 113

한 줄 요약

본 논문은 하이퍼파라미터 조정의 중요성을 평가하기 위한 비열등 프레임워크를 제시하고, 간단한 기본값 파라미터 방법을 제안하며, RF와 SVM에 대해 59개의 OpenML 데이터셋에서 다수의 기본값이 조정보다 비열등하게 수행함을 보인다.

ABSTRACT

The performance of many machine learning algorithms depends on their hyperparameter settings. The goal of this study is to determine whether it is important to tune a hyperparameter or whether it can be safely set to a default value. We present a methodology to determine the importance of tuning a hyperparameter based on a non-inferiority test and tuning risk: the performance loss that is incurred when a hyperparameter is not tuned, but set to a default value. Because our methods require the notion of a default parameter, we present a simple procedure that can be used to determine reasonable default parameters. We apply our methods in a benchmark study using 59 datasets from OpenML. Our results show that leaving particular hyperparameters at their default value is non-inferior to tuning these hyperparameters. In some cases, leaving the hyperparameter at its default value even outperforms tuning it using a search procedure with a limited number of iterations.

연구 동기 및 목표

• 특정 하이퍼파라미터가 조정이 필요한지 여부 혹은 합리적인 기본값으로 설정해도 되는지 평가한다.
• 데이터셋 하나를 제외하고 기본값을 결정하는 간단한 절차를 도입한다.
• 조정 위험을 정량화하고, 고정 기본값과 완전한 조정 구성 간의 비열등성을 검정한다.
• 여러 데이터셋에 걸쳐 기본값을 scikit-learn 기본값 및 선행 연구와 벤치마킹한다.

제안 방법

• 각 데이터셋에 대해 기본 하이퍼파라미터를 갖는 형식적 설정을 정의한다.
• 상위 성능 구성에서 기본값을 선택하기 위해 데이터셋 하나를 제외하는 접근법을 구성한다.
• 고정 기본값과 조정 설정 간의 위험 차이로 조정 위험을 계산한다.
• 성능에 대한 실제적 영향을 평가하기 위해 상대적 조정 위험을 사용한다.
• 데이터셋 전반에 걸쳐 고정 여부를 비교하기 위해 비열등성 검정(비모수 TOST)을 적용한다.
• RF와 SVM에 대한 59개 OpenML 데이터셋 벤치마크에서 무작위 탐색을 포함한 중첩 교차 검증으로 평가한다.

실험 결과

연구 질문

• RQ1 어떤 하이퍼파라미터를 조정하는 것이 중요한지, 아니면 기본값으로 안전하게 고정할 수 있는지?
• RQ2 제안된 방법으로 결정된 기본 하이퍼파라미터가 모든 하이퍼파라미터를 조정하는 것과 비교해 비열등한 성능을 나타내는가?
• RQ3 다른 성능 지표하에서 데이터셋 및 하이퍼파라미터에 따라 조정 위험이 어떻게 달라지는가?

주요 결과

• 일부 하이퍼파라미터를 계산된 기본값으로 두는 것이 많은 데이터셋에서 이를 조정하는 것보다 비열등하다.
• 일부 경우에 기본값 고정은 제한된 무작위 탐색으로 조정하는 것보다 더 나은 성능을 보인다.
• 기본값은 scikit-learn 기본값 및 이전 기본값과 다르며, 메타피쳐에 의존하는 기본값은 일부 매개변수에 대해 유용하다.
• 여러 하이퍼파라미터에 대해 조정 위험이 대개 0에 가깝거나 음수이며, 100회의 무작위 탐색 반복으로 전체 조정의 이점이 제한적임을 시사한다.