[논문 리뷰] Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits

Jack Parker-Holder, Loc Nguyen외 1명|arXiv (Cornell University)|2020. 02. 06.

Advanced Bandit Algorithms Research인용 수 36

한 줄 요약

PB2는 시간에 따라 변화하는 가우시안 프로세스 밴딧을 사용하여 하이퍼파라미터 스케줄을 안내함으로써 서브선형 후회와 더 작은 모집단에서의 강화학습 성능 향상을 달성하는 provably efficient PBT 스타일 알고리즘을 도입합니다. 휴리스틱 탐색을 병렬 학습 설정에서 이론적으로 근거 있는 베이지안 최적화로 대체합니다.

ABSTRACT

Many of the recent triumphs in machine learning are dependent on well-tuned hyperparameters. This is particularly prominent in reinforcement learning (RL) where a small change in the configuration can lead to failure. Despite the importance of tuning hyperparameters, it remains expensive and is often done in a naive and laborious way. A recent solution to this problem is Population Based Training (PBT) which updates both weights and hyperparameters in a single training run of a population of agents. PBT has been shown to be particularly effective in RL, leading to widespread use in the field. However, PBT lacks theoretical guarantees since it relies on random heuristics to explore the hyperparameter space. This inefficiency means it typically requires vast computational resources, which is prohibitive for many small and medium sized labs. In this work, we introduce the first provably efficient PBT-style algorithm, Population-Based Bandits (PB2). PB2 uses a probabilistic model to guide the search in an efficient way, making it possible to discover high performing hyperparameter configurations with far fewer agents than typically required by PBT. We show in a series of RL experiments that PB2 is able to achieve high performance with a modest computational budget.

연구 동기 및 목표

• 시간에 따라 하이퍼파라미터가 변화하는 경우 강화학습을 위한 효율적인 자동 하이퍼파라미터 최적화를 동기화합니다.
• 휴리스틱 PBT 탐색을 이론적으로 근거 있는 GP 기반 밴딧 접근으로 대체합니다.
• PB2 스타일의 알고리즘에 대한 후회 경계치를 제공하고 RL 벤치마크에서 실용적 이득을 시연합니다.

제안 방법

• 시간에 따라 변화하는 하이퍼파라미터 최적화를 시간 의존 커널이 있는 배치 가우시안 프로세스(GP) 밴딧 문제로 모델링합니다.
• 신경망 학습 동역학의 비정상성을 포착하기 위해 시간 변화 커널(K = SE ∘ K_time)을 사용합니다.
• 대기 평가를 고려한 획득 함수를 순차적으로 최대화하여 병렬 에이전트의 하이퍼파라미터 배치를 선택합니다.
• 완만한 매끄러움과 리프시츠 조건 하에서 PB2의 서브선형 후회 경계치를 보입니다(정리 2).
• OpenAI Gym 및 IMPALA 과제에서 PBT, RS, BO, ASHA와 비교하여 PB2를 실험적으로 시연합니다.

실험 결과

연구 질문

• RQ1 PB2가 시간 변화 하이퍼파라미터 최적화 설정에서 서브선형 후회를 달성할 수 있는가?
• RQ2 GP 기반의 시간 변화 탐색 전략이 RL 과제에서 휴리스틱 PBT 탐색보다 우수한가?
• RQ3 보다 작은 모집단 크기로 PB2는 어떻게 작동하며 잘못 지정된 하이퍼파라미터 범위에서의 성능은 어떠한가?
• RQ4 PB2가 더 큰 모집단 및 IMPALA와 같은 경쟁 RL 벤치마크로 확장될 수 있는가?
• RQ5 PB2가 기존 베이스라인에 비해 샘플 효율성과 최종 RL 성능에 어떤 실질적 영향을 미치는가?

주요 결과

• PB2는 다양한 과제에서 PBT, RS, BO, ASHA와 비교하여 최종 RL 성능이 경쟁적이거나 우수합니다.
• 더 작은 모집단에서도 PB2는 PBT를 능가하고 IMPALA 실험에서 수작업으로 조정된 기준선에 거의 맞추거나 능가하는 경우가 많습니다.
• 하이퍼파라미터 범위가 잘못 지정되어도 PB2는 강건성을 유지하여 PBT가 하락하는 구간에서도 강한 성능을 유지합니다.
• 이론적 결과: PB2는 모집단 크기(B)가 크고 시간 의존 함수가 더 상관관계가 높을수록(ω가 낮을수록) 향상되는 서브선형 후회 경계치를 얻습니다.
• PB2는 단일 학습 실행 내에서 온라인으로 하이퍼파라미터 스케줄을 학습하므로 전통적인 배치 BO 접근 방식에 비해 계산 부담을 줄입니다.