[논문 리뷰] Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization

Lisha Li, Kevin Jamieson외 3명|arXiv (Cornell University)|2016. 03. 21.

Machine Learning and Data Classification인용 수 1,061

한 줄 요약

Hyperband은 구성을 대상으로 자원을 적응적으로 할당하고(예: 반복, 데이터, 특징) 구성에 자원을 할당하며 연속 절반화의 다중 브래킷을 이용해 하이퍼파라미터 탐색을 빠르게 수행하는 순수 탐색 기반의 밴딧 형태 하이퍼파라미터 최적화 방법을 도입하며, 종종 베이지안 최적화보다 우수한 성능을 발휘한다.

ABSTRACT

Performance of machine learning algorithms depends critically on identifying a good set of hyperparameters. While recent approaches use Bayesian optimization to adaptively select configurations, we focus on speeding up random search through adaptive resource allocation and early-stopping. We formulate hyperparameter optimization as a pure-exploration non-stochastic infinite-armed bandit problem where a predefined resource like iterations, data samples, or features is allocated to randomly sampled configurations. We introduce a novel algorithm, Hyperband, for this framework and analyze its theoretical properties, providing several desirable guarantees. Furthermore, we compare Hyperband with popular Bayesian optimization methods on a suite of hyperparameter optimization problems. We observe that Hyperband can provide over an order-of-magnitude speedup over our competitor set on a variety of deep-learning and kernel-based learning problems.

연구 동기 및 목표

• 복잡한 ML 모델에서 성능이 여러 매개변수의 튜닝에 좌우되는 하이퍼파라미터 최적화의 도전과제에 대한 동기를 제시한다.
• 구성 간에 계산 자원을 적응적으로 배분하는 빠르고 체계적인 방법을 제안한다.
• 순수 탐색적, 무한암 밴딧 형식에 대한 이론적 보장을 제공한다.
• 다양한 작업과 자원에서 Hyperband를 베이지안 최적화 방법과 비교한다.

제안 방법

• 하이퍼파라미터 최적화를 순수 탐색적 비확률적 무한암 밴딧 문제로 형식화한다.
• Successive Halving의 다중 브래킷을 결합한 Hyperband를 도입하여 탐색(다수 구성)과 활용(구성당 더 많은 자원) 간의 균형을 맞춘다.
• 각 브래킷이 Successive Halving을 실행하는 매개변수 n(구성)과 r(구성당 자원)을 갖는 외부 루프의 유한 예산으로 사용한다.
• 두 입력값 R(구성당 최대 자원)과 eta(폐기 인자)를 정의하고 s_max와 총 예산 B를 도출한다.
• 알 수 없는 R을 다루기 위해 시간이 지남에 따라 예산을 두 배로 늘리는 무한 수평가 변형을 제공한다.
• Hyperband가 강한 파라메트릭 가정 없이도 알려지지 않은 수렴 속도와 검증 손실의 엔벨로프 동작에 적응함을 보여준다.
• Hyperband가 어떠한 하이퍼파라미터 샘플링 전략과도 결합될 수 있으며 평가의 확률적성에 둔감하다고 보인다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 최적화를 순수 탐색적 무한암 밴딧 문제로 어떻게 프레이밍할 수 있는가?
• RQ2 다중 브래킷, 연속 절반화 접근법이 고정 예산 하에서 좋은 하이퍼파라미터를 효율적으로 식별할 수 있는가?
• RQ3 Hyperband는 다양한 자원 유형과 작업에서 베이지안 최적화 방법에 비해 어떻게 성능하는가?
• RQ4 유한 및 무한 수평 설정에서 Hyperband에 대해 어떤 이론적 보장을 얻을 수 있는가?

주요 결과

• Hyperband는 심층 학습 및 커널 기반 작업에서 베이지안 최적화 방법에 비해 상당한 속도 향상을 달성한다(일부 경우 한 차원 이상의 증가).
• 알고리즘은 서로 다른 n과 r 트레이드오프를 가진 다중 브래킷을 사용하여 공격적 탐색과 보수적 평가 사이에서 헤지한다.
• 무한 수평 변형 및 순수 탐색 프레이밍은 알려지지 않은 엔벨로프 동작에 대한 이론적 통찰과 이상적인 Successive Halving에 대한 거의 최적의 예산 사용을 제공한다.
• 여러 차례의 반복, 데이터 서브샘플링 및 특징 서브샘플링에 걸친 실험은 로버스트성과 넓은 적용 가능성을 보여준다.
• Hyperband는 R과 eta만 필요하며, 어떤 하이퍼파라미터 샘플링 접근법과도 결합될 수 있다.