[논문 리뷰] YAHPO Gym -- An Efficient Multi-Objective Multi-Fidelity Benchmark for Hyperparameter Optimization

Florian Pfisterer, Lennart Schneider외 3명|arXiv (Cornell University)|2021. 09. 08.

Advanced Multi-Objective Optimization Algorithms인용 수 9

한 줄 요약

YAHPO Gym은 초기 설정 기반, 다중 복잡도, 다중 목적 최적화를 위한 초모수 최적화(HPO) 벤치마크 라이브러리로, 14개의 다양한 시나리오와 700개 이상의 HPO 문제를 포함한다. 이는 표 형태의 벤치마크가 성능 순위에 편향을 줄 수 있음을 보여주며, 단일 및 다중 목적 설정에서 HPO 방법의 보다 정확하고 효율적이며 현실적인 평가를 가능하게 하는 서rogate 모델을 제공한다.

ABSTRACT

When developing and analyzing new hyperparameter optimization methods, it is vital to empirically evaluate and compare them on well-curated benchmark suites. In this work, we propose a new set of challenging and relevant benchmark problems motivated by desirable properties and requirements for such benchmarks. Our new surrogate-based benchmark collection consists of 14 scenarios that in total constitute over 700 multi-fidelity hyperparameter optimization problems, which all enable multi-objective hyperparameter optimization. Furthermore, we empirically compare surrogate-based benchmarks to the more widely-used tabular benchmarks, and demonstrate that the latter may produce unfaithful results regarding the performance ranking of HPO methods. We examine and compare our benchmark collection with respect to defined requirements and propose a single-objective as well as a multi-objective benchmark suite on which we compare 7 single-objective and 7 multi-objective optimizers in a benchmark experiment. Our software is available at [https://github.com/slds-lmu/yahpo_gym].

연구 동기 및 목표

• 실제 문제 도전 과제를 반영하는 표준화되고 효율적이며 현실적인 HPO를 위한 벤치마크가 부족한 점을 보완하기 위해.
• 표 형태의 벤치마크가 격자 기반 샘플링에 의존함으로써 HPO 방법의 성능 순위에 편향을 줄 수 있음을 입증하기 위해.
• 고품질의 확장 가능한 근사치를 제공하는 서rogate 기반의 다중 복잡도 및 다중 목적 HPO를 지원하는 벤치마크 라이브러리를 개발하기 위해.
• 다양한 머신러닝 시나리오에서 HPO 알고리즘의 평가 및 비교를 위한 통합적이고 확장 가능하며 커뮤니티 접근이 가능한 테스트베드를 제공하기 위해.
• 대규모 수의 평가와 다양한 문제 인스턴스가 필요한 메타러닝 및 메타최적화 응용 분야를 지원하기 위해 대규모이고 다양한 문제를 포함한 저비용으로 쿼리 가능한 벤치마크 세트를 제공하기 위해.

제안 방법

• 벤치마크는 14개의 서로 다른 시나리오에서 기계학습 파이프라인의 사전 계산된 평가를 기반으로 훈련된 서rogate 모델을 사용하여 구성되며, 각 시나리오는 서로 다른 알고리즘과 데이터셋을 포함한다.
• 각 시나리오는 공통된 검색 공간과 성능 메트릭을 사용하며, 초모수 설정이 여러 복잡도 수준(예: 5%에서 100%까지의 훈련 크기)에서 평가된다.
• 서rogate 모델은 고성능 컴퓨팅(9.8 CPU 년)을 통해 수집된 데이터에 기반하여 피팅되며, 다양한 훈련 세트 비율에서의 다중 복잡도 평가를 가능하게 하기 위해 재표본화 기법을 사용한다.
• 라이브러리는 단일 목적 및 다중 목적 최적화를 모두 지원하며, 표준화된 API를 통해 버전 관리된 서rogate 모델 세트에 접근할 수 있다.
• 벤치마크는 조건부 초모수(예: 슈퍼러너 시나리오에서의 것들)를 포함하며, 기존의 머신러닝 파이프라인과 HPO 툴킷과 통합되어 있다.
• 벤치마크는 Apache 2.0 라이선스 하에 배포되며, GitHub에 배포되어 있으며 포괄적인 문서가 제공된다.

실험 결과

연구 질문

• RQ1 표 형태의 벤치마크는 사전 정의된 격자에 의존하기 때문에, 더 현실적인 서rogate 기반 벤치마크에 비해 HPO 방법의 성능 순위에 편향을 줄 수 있는가?
• RQ2 서rogate 기반 벤치마크는 다양한 검색 공간과 목표 설정에서 HPO 방법의 보다 정확하고 대표적인 평가를 제공할 수 있는가?
• RQ3 다양한 복잡도와 목표를 지원하는 대규모이고 다양한 문제를 포함한 현실적인 벤치마크 세트에서, 다양한 HPO 방법의 성능은 어떻게 나타나는가?
• RQ4 서rogate 모델이 실제 HPO 시나리오에서의 진정된 목표 지형을 얼마나 정확하게 근사하는가?
• RQ5 제안된 벤치마크 세트는 대규모 수의 평가와 다양한 문제 인스턴스가 필요한 메타러닝 및 메타최적화 응용 분야를 지원할 수 있는가?

주요 결과

• 표 형태의 벤치마크는 고정된 사전 계산된 격자에 의존함으로써 HPO 방법의 성능 순위에 중대한 편향을 초래한다. 이는 기존 최적화 문제의 본질을 변화시킨다.
• YAHPO Gym과 같은 서rogate 기반 벤치마크는 단일 목적 및 다중 목적 설정 모두에서 HPO 방법의 진정된 순위를 더 정확하게 반영하는 보다 신뢰할 수 있는 성능 추정치를 제공한다.
• YAHPO Gym의 서rogate 모델은 14개 모든 시나리오에서 광범위한 평가를 통해 검증된 바, 진정된 목표 지형을 고품질로 근사한다.
• 벤치마크 세트는 14개의 서로 다른 머신러닝 시나리오에서 유래한 700개 이상의 다중 복잡도, 다중 목적 HPO 문제를 포함하며, 각각 다양한 검색 공간과 데이터셋을 포함한다.
• 라이브러리는 545만 개 이상의 구성이 평가된 대규모이고 확장 가능하며 재현 가능한 HPO 방법 평가를 가능하게 한다.
• YAHPO Gym은 조건부 초모수와 다중 복잡도 평가를 지원하여 메타러닝 및 메타최적화 응용 분야에 적합한 고급 HPO 워크로드를 지원한다.