[논문 리뷰] A Comparative study of Hyper-Parameter Optimization Tools

Shashank Shekhar, Adesh Bansode외 1명|arXiv (Cornell University)|2022. 01. 17.

Metaheuristic Optimization Algorithms Research인용 수 6

한 줄 요약

이 논문은 두 가지 벤치마크에서 네 가지 하이퍼파rameter 최적화(HPO) 라이브러리—Optuna, HyperOpt, Optunity, SMAC—을 평가한다: 복합 알고리즘 선택 및 하이퍼파ram터 최적화(CASH) 문제와 NeurIPS 블랙박스 최적화 챌린지. CASH 벤치마크에서는 Optuna가 다른 라이브러리보다 뛰어난 성능을 보였고, MLP 아키텍처 튜닝에서는 HyperOpt가 가장 우수한 결과를 내어 신경망 응용 분야에서 뛰어난 성능과 효율성을 입증했다.

ABSTRACT

Most of the machine learning models have associated hyper-parameters along with their parameters. While the algorithm gives the solution for parameters, its utility for model performance is highly dependent on the choice of hyperparameters. For a robust performance of a model, it is necessary to find out the right hyper-parameter combination. Hyper-parameter optimization (HPO) is a systematic process that helps in finding the right values for them. The conventional methods for this purpose are grid search and random search and both methods create issues in industrial-scale applications. Hence a set of strategies have been recently proposed based on Bayesian optimization and evolutionary algorithm principles that help in runtime issues in a production environment and robust performance. In this paper, we compare the performance of four python libraries, namely Optuna, Hyper-opt, Optunity, and sequential model-based algorithm configuration (SMAC) that has been proposed for hyper-parameter optimization. The performance of these tools is tested using two benchmarks. The first one is to solve a combined algorithm selection and hyper-parameter optimization (CASH) problem The second one is the NeurIPS black-box optimization challenge in which a multilayer perception (MLP) architecture has to be chosen from a set of related architecture constraints and hyper-parameters. The benchmarking is done with six real-world datasets. From the experiments, we found that Optuna has better performance for CASH problem and HyperOpt for MLP problem.

연구 동기 및 목표

• 실제 기계학습 문제에서 네 가지 주요 HPO 라이브러리—Optuna, HyperOpt, Optunity, SMAC—의 성능을 평가하고 비교하기.
• 다양한 HPO 전략에서 최적화 성능(모델 정확도로 측정됨)과 런타임 효율성 간의 트레이드오프를 평가하기.
• 두 가지 별개의 과제에 대해 벤치마크하기: 12개의 분류기와 58개의 하이퍼파ram터를 포함하는 CASH 과제와 MLP 아키텍처 탐색을 위한 NeurIPS 블랙박스 최적화 챌린지.
• 문제 유형에 기반한 도구 선택에 대한 경험적 지침을 제공하기, 특히 표 형태의 기계학습과 딥러닝 워크로드 간의 차이를 명확히 하기.

제안 방법

• 연구는 하이퍼파ram터 검색에 베이지안 최적화(Optuna, HyperOpt, SMAC)와 진화 알고리즘(Optunity)을 활용한다.
• CASH 벤치마크에서는 12개의 분류기가 58개의 하이퍼파ram터를 통해 여섯 개의 실세계 데이터셋에서 최적화되었으며, 정확도와 런타임을 평가 지표로 사용했다.
• NeurIPS 챌린지 벤치마크는 9개의 하이퍼파aram터를 포함한 다층퍼셉트론(MLP) 최적화를 포함했으며, 히든 레이어 크기, 학습률, 배치 크기, 정규화 항목 등이 포함되었다.
• 검색 공간은 혼합 유형으로 정의되었으며, 연속형(log, logit), 정수형(linear), 지정된 범위를 가진 실수형 파라미터로 구성되었다.
• 각 도구는 여러 구성(예: TPE, 랜덤 서치, PSO)을 사용하여 최적화 전략 간 성능 비교를 수행했다.
• 표준 기계학습 파이프라인을 사용하여 실험을 수행했으며, 데이터셋 간 집계를 통해 도구 성능의 일반화 능력을 평가했다.

Figure 1: A demonstration of Bayesian optimization on a 1-dimensional maximization problem. The figures show a Gaussian process (GP) approximation of the objective function over four iterations of sampled values of the objective function. The figure also shows the acquisition function in the lower s

실험 결과

연구 질문

• RQ1 CASH 벤치마크에서 다양한 실세계 데이터셋에서 가장 높은 모델 성능(정확도)을 달성하는 HPO 라이브러리는 무엇인가?
• RQ2 다양한 기계학습 모델을 최적화할 때 Optuna, HyperOpt, Optunity, SMAC의 런타임 특성은 어떻게 비교되는가?
• RQ3 표 형태의 기계학습 문제(CASH)와 딥러닝 아키텍처 탐색(MLP 튜닝) 간에 HPO 도구의 성능에 큰 차이가 있는가?
• RQ4 각 도구의 최적화 궤적은 반복 과정에서 얼마나 안정적인가, 그리고 이는 수렴 속도나 최종 성능에 영향을 미치는가?
• RQ5 진화 또는 천연 유도 알고리즘(예: Optunity의 PSO)이 특정 문제 설정에서 베이지안 최적화 기반 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• Optuna는 CASH 벤치마크에서 모든 데이터셋의 평균 성능 점수를 가장 높게 기록했으며, nomao 데이터셋에서 최대 F1-스코어 0.937144를 기록했다.
• HyperOpt는 MLP 벤치마크에서 가장 빠른 런타임을 보였으며, dna 데이터셋에서 검색을 72초 만에 완료하여 Optuna(415초)와 SMAC(388초)를 앞섰다.
• MLP 문제에서는 HyperOpt의 TPE 구성이 dna 데이터셋에서 0.950322의 최고 점수를 기록했으며, Optuna(0.947453)와 SMAC(0.950322)를 초월했다.
• SMAC는 여러 데이터셋에서 경쟁 가능한 성능를 보였지만, Optuna와 HyperOpt보다 뚜렷하게 높은 런타임을 보였으며, nomao 데이터셋에서 12,316초가 소요되었다.
• Optunity의 PSO 구성은 모든 벤치마크에서 가장 낮은 성능를 보였으며, semeion 데이터셋에서 점수 0.700295를 기록하여 이러한 과제에 대해 효과가 떨어지는 것으로 나타났다.
• Optuna는 반복 과정에서 가장 안정적인 최적화 궤적을 보였고, Optunity와 HyperOpt는 진동하는 행동을 보이며 수렴의 일관성은 떨어지는 것으로 나타났다.

Figure 2: Plot of f1-score v/s iteration for benchmark-I. The corresponding algorithm and dataset are marked as a legend in each plot.