[논문 리뷰] Efficient Hyperparameter Optimization and Infinitely Many Armed Bandits

Afshin Rostamizadeh, Ameet Talwalkar외 3명|arXiv (Cornell University)|2017. 01. 01.

Machine Learning and Data Classification참고 문헌 44인용 수 138

한 줄 요약

이 논문은 자원을 성능에 따라 구성에 따라 적응적으로 할당하는 방식으로 문제를 비스테이션적 무한히 많은 패드 랜드 랜드 문제로 모델링하는 새로운 하이퍼파rameter 최적화 방법인 Hyperband을 제안한다. 이는 베이지안 최적화와 무작위 탐색보다 효율적으로 유망한 구성에 학습 자원을 할당하여, 유사한 설정에서 두 배로 더 오래 훈련된 방법보다 뛰어난 성능을 달성함으로써 상당한 속도 향상을 이룬다.

ABSTRACT

Performance of machine learning algorithms depends critically on identifying a good set of hyperparameters. While current methods offer efficiencies by adaptively choosing new configurations to train, an alternative strategy is to adaptively allocate resources across the selected configurations. We formulate hyperparameter optimization as a pure-exploration non-stochastic infinitely many armed bandit problem where allocation of additional resources to an arm corresponds to training a configuration on larger subsets of the data. We introduce Hyperband for this framework and analyze its theoretical properties, providing several desirable guarantees. We compare Hyperband with state-of-the-art Bayesian optimization methods and a random search baseline on a comprehensive benchmark including 117 datasets. Our results on this benchmark demonstrate that while Bayesian optimization methods do not outperform random search trained for twice as long, Hyperband in favorable settings offers valuable speedups.

연구 동기 및 목표

• 기계학습에서 성능이 하이퍼파rameter 선택에 크게 의존하는 상황에서 효율적인 하이퍼파aram터 최적화 문제를 해결하기 위해.
• 하이퍼파aram터 튜닝을 순수 탐색, 비스테이션적, 무한히 많은 패드 랜드 랜드 문제로 모델링하여, 패드는 하이퍼파aram터 구성에 대응하고 자원 할당은 더 큰 데이터 하위집합에서의 훈련에 해당한다.
• 가장 유망한 구성에 대해 계산 자원을 적응적으로 할당하는 방법을 설계하여, 무작위 또는 고정 자원 탐색 전략보다 효율성을 향상시키기 위해.
• 이러한 방법의 성능에 대해 밴딧 프레임워크 하에서 이론적 보장을 제공하기 위해.
• 117개의 데이터셋으로 구성된 대규모 벤치마크에서 최신 베이지안 최적화 및 무작위 탐색과의 실험적 평가를 수행하기 위해.

제안 방법

• 이 방법은 각 패드가 고유한 하이퍼파라미터 구성에 대응하는 비스테이션적 무한히 많은 패드 랜드 랜드 문제로 하이퍼파라미터 최적화를 모델링한다.
• 자원 할당은 훈련 데이터 하위집합을 점차 늘여가며 각 구성에 대해 훈련하고, 각 할당 단계 이후 성능을 측정하는 방식으로 수식화된다.
• Hyperband은 중간 훈련 단계에서 성능이 우수한 구성에 대해 자원을 동적으로 더 많이 할당한다.
• 알고리즘은 성능이 열악한 구성들을 조기에 제거하는 연속적인 반으로 나누기 전략을 사용하여, 가장 유망한 구성들에 계산 자원을 집중시는 방식이다.
• 이론적 분석은 평균적으로 평가될 구성 수와 근사 최적 구성이 식별될 확률에 대한 보장을 제공한다.
• 이 방법은 기반 기계학습 알고리즘에 대해 무관하므로, 다양한 모델과 데이터셋에 널리 적용 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 구성 간의 자원 할당을 적응적으로 조정하는 것이 고정 자원 또는 무작위 탐색 전략보다 하이퍼파라미터 최적화에서 더 나은 성능을 낼 수 있는가?
• RQ2 제안된 Hyperband 방법이 하이퍼파라미터 튜닝에서 최신 베이지안 최적화보다 더 뛰어난 샘플 효율성을 달성하는가?
• RQ3 무작위 탐색이 두 배로 더 오래 훈련된 경우와 비교해 Hyperband은 어떻게 성능을 내는가?
• RQ4 하이퍼파라미터 최적화의 비스테이션적, 무한히 많은 패드 랜드 랜드 공식화에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 어떤 설정에서 Hyperband이 기존 방법보다 의미 있는 속도 향상을 제공하는가?

주요 결과

• 베이지안 최적화 방법이 두 배로 더 오래 훈련된 무작위 탐색을 초월하지 못하는 설정에서는 Hyperband이 상당히 뛰어난 성능을 보인다.
• 117개의 데이터셋으로 구성된 벤치마크에서, Hyperband는 베이지안 최적화보다 훨씬 낮은 계산 비용으로 더 높은 성능을 달성한다.
• 특히 열악한 성능을 보이는 모델들을 조기에 정지시키는 것이 효과적인 유리한 설정에서 Hyperband은 가치 있는 속도 향상을 보인다.
• 베이지안 최적화 방법은 무작위 탐색이 두 배로 더 오래 훈련된 경우에 비해 승리하지 못하며, 이는 현재의 베이지안 접근 방식이 이 맥락에서 비효율적임을 시사한다.
• Hyperband의 이론적 프레임워크는 높은 확률로 근사 최적 구성이 식별됨을 보장한다.
• 실험 결과는 자원을 적응적으로 할당하는 것이 균일하거나 무작위 할당 전략보다 더 효율적인 하이퍼파라미터 탐색을 이끈다는 것을 확인한다.