[논문 리뷰] SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization

Marius Lindauer, Katharina Eggensperger외 7명|arXiv (Cornell University)|2021. 09. 20.

Machine Learning and Data Classification참고 문헌 38인용 수 83

한 줄 요약

SMAC3은 다양한 활용 사례(HPO, CASH, MF, AC)를 지원하는 유연하고 오픈 소스인 베이지안 최적화 패키지이며, 다양한 파사드, 대리모델(surrogates), 획득 전략을 통해 작업 전반에 걸친 강건한 하이퍼파라미터 최적화를 가능하게 한다.

ABSTRACT

Algorithm parameters, in particular hyperparameters of machine learning algorithms, can substantially impact their performance. To support users in determining well-performing hyperparameter configurations for their algorithms, datasets and applications at hand, SMAC3 offers a robust and flexible framework for Bayesian Optimization, which can improve performance within a few evaluations. It offers several facades and pre-sets for typical use cases, such as optimizing hyperparameters, solving low dimensional continuous (artificial) global optimization problems and configuring algorithms to perform well across multiple problem instances. The SMAC3 package is available under a permissive BSD-license at https://github.com/automl/SMAC3.

연구 동기 및 목표

• 데이터셋과 작업 전반에 걸쳐 ML 알고리즘의 성능이 잘 나오는 하이퍼파라미터 구성을 데이터셋과 작업 전반에서 찾는 중요성에 대한 동기를 제시한다.
• 다양한 활용 사례 파사드를 제공하여 작업 간 차이에 대해 강건한 융통성을 가진 BO 프레임워크를 제공한다.
• Python 및 CLI 인터페이스를 통해 손쉬운 채택을 돕고, 병렬 처리 옵션과 모듈식 설계를 제공한다.

제안 방법

• 여러 베이지안 최적화 방법과 획득 함수(e.g., GP with EI, EI per second, logEI, LCB, TS, PI)를 구현한다.
• 저차원 연속 최적화, CASH, 다중 충실도 작업 및 알고리즘 구성에 맞게 BO를 설계하기 위해 다중 파사드(SMAC4BB, SMAC4HPO, SMAC4MF, SMAC4AC)를 지원한다.
• 랜덤 포레스트 및 Gaussian 프로세스와 같은 대리모델을 사용하며, 초기 설계는 Sobol 시퀀스 또는 무작위 탐색으로 수행된다.
• Hyperband와 BO를 결합한 다중 충실도 최적화를 통합하고(BOHB 유사 접근), 다양한 충실도 수준에서 RF 대리모델을 사용한다.
• AC를 위한 공격적 레이싱과 검열된 데이터의 보간을 가능하게 하며, 전용 TAE(Target Algorithm Evaluator) 인터페이스와 CLI를 제공한다.
• DASK를 통한 병렬화 및 파일 시스템 기반의 독립된 SMAC3 인스턴스를 지원한다.

실험 결과

연구 질문

• RQ1 SMAC3가 다양한 문제 설정에서 다중 파사드를 사용하여 하이퍼파라미터를 강건하게 최적화할 수 있는가?
• RQ2 저차원 HPO, CASH, 다중 충실도, AC 작업에서 SMAC3의 대리모델과 획득 전략은 베이스라인과 비교하여 어떤 성능을 보이는가?
• RQ3 벤치마크 문제들에서 SMAC3의 다중 충실도 및 공격적 레이싱 메커니즘의 실험적 성능은 어떠한가?
• RQ4 SMAC3가 Python 및 CLI 인터페이스와 병렬화 옵션을 통해 실용적인 사용성 이점을 제공하는가?
• RQ5 표준 HPO 벤치마크에서 SMAC3가 다른 BO 도구들(예: Dragonfly, BOHB, Hyperband)와 어떻게 비교되는가?

주요 결과

• 다양한 BO 접근법과 강화 전략을 결합하여 SMAC3는 다양한 HPO 작업에서 강건한 성능을 제시한다.
• 다중 충실도 설정에서 SMAC3의 RF 기반 대리모델은 Hyperband 스타일 예산 책정을 통해 초기에 Hyperband와 일치하고, 중간에 뛰어나며, 결국 RF를 사용하는 순수 BO에 따라잡힌다.
• SMAC3는 보고된 실험에서 지속적으로 Dragonfly를 능가하고, 후반 단계에서 대리모델 벤치마크에서 BOHB도 능가한다.
• 실험적 비교에는 HPOBench의 Net Letter, Naval Propulsion, Nas1Shot1-2 벤치마크가 포함되며 실행 시간은 대리모델로 시뮬레이션된다.
• 본 논문은 SMAC3를 AutoML 도구(auto-sklearn, Auto-PyTorch)의 구성 요소로 위치시키고 BBO 대회에서도 경쟁력이 있음을 시사한다.