[논문 리뷰] PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning

Neeratyoy Mallik, Edward M. Bergman외 6명|arXiv (Cornell University)|2023. 06. 21.

Machine Learning and Data Classification인용 수 7

한 줄 요약

PriorBand는 딥러닝을 위한 실용적인 하이퍼파rameter 최적화(HPO) 방법으로, 전문가 지식과 저비용 대체 작업을 통합하여 뛰어난 효율성과 강건성을 달성한다. 다양한 딥러닝 벤치마크에서 기존 방법들을 능가하며, anytime 성능이 뛰어나고 악성 전문가 신뢰도에 대해서도 강건하다.

ABSTRACT

Hyperparameters of Deep Learning (DL) pipelines are crucial for their downstream performance. While a large number of methods for Hyperparameter Optimization (HPO) have been developed, their incurred costs are often untenable for modern DL. Consequently, manual experimentation is still the most prevalent approach to optimize hyperparameters, relying on the researcher's intuition, domain knowledge, and cheap preliminary explorations. To resolve this misalignment between HPO algorithms and DL researchers, we propose PriorBand, an HPO algorithm tailored to DL, able to utilize both expert beliefs and cheap proxy tasks. Empirically, we demonstrate PriorBand's efficiency across a range of DL benchmarks and show its gains under informative expert input and robustness against poor expert beliefs

연구 동기 및 목표

• 제한된 컴퓨팅 예산 하에서 현대 딥러닝 실무와 부합하지 않는 기존 HPO 방법의 부적합성을 해결한다.
• 전문가 지식과 저비용 대체 평가를 효과적으로 활용하여 하이퍼파ram터 탐색을 가속화하는 HPO 알고리즘을 개발한다.
• 낮은 컴퓨팅 예산 하에서도 강건성을 확보하면서 잘못된 전문가 신뢰도에 대비한다.
• 범주형, 수치형, 로그형 하이퍼파ram터 공간을 모두 지원하고 효율적인 병렬 처리를 가능하게 한다.
• 모델에 종속되지 않고 간단하며 모듈화된 HPO 프레임워크를 제공하여 실제 딥러닝 파이프라인에 쉽게 이해하고 구현할 수 있도록 한다.

제안 방법

• PriorBand은 하이퍼파라미터 설정에 대한 전문가 제공 지식을 통합하여 HyperBand과 같은 다중 신뢰도 HPO 알고리즘을 확장한다.
• 초기 단계에서 저비용 예산 평가 시, 더 높은 사전 확률을 가진 설정을 우선적으로 배정하는 계층적 밴디트 스타일 할당 전략을 사용한다.
• 저비용 대체 작업(예: 더 작은 데이터셋 또는 적은 학습 스텝)에서의 성능에 기반해 구성에 대한 컴퓨팅 자원을 동적으로 할당한다.
• 하이퍼파라미터에 대한 사전 분포를 통해 전문가 신념을 통합하며, 이는 초기 샘플링과 할당 결정을 안내하는 데 사용된다.
• 이중 하이퍼파라미터에 대한 복잡한 서rogate 모델이나 커널 설계를 피함으로써 모델에 종속되지 않은 단순성을 유지한다.
• 비동기 및 병렬 실행을 지원하여 현대 하드웨어에서 효율적인 확장이 가능하다.

Figure 1: Both plots compare Random Search (RS), sampling from prior (RS+Prior), HyperBand (HB), and our method PriorBand which utilizes a good prior as defined by an expert. [ Left ] Tuning a large transformer on the 1B word benchmark. PriorBand leverages the prior, achieving strong anytime perform

실험 결과

연구 질문

• RQ1 전문가 지식과 저비용 대체 작업을 효과적으로 통합하여 딥러닝에서 하이퍼파라미터 최적화의 효율성을 향상시킬 수 있는가?
• RQ2 기본 HPO 기준(예: 무작위 탐색, 격자 탐색, HyperBand)과 비교해 PriorBand는 낮은 컴퓨팅 예산 조건에서 어떻게 성능을 내는가?
• RQ3 실제 딥러닝 환경에서 잘못되거나 오해의 소지가 있는 전문가 지식에 대해 PriorBand는 얼마나 강건한가?
• RQ4 PriorBand는 비동기 및 병렬 컴퓨팅 환경에서 얼마나 효율적으로 확장 가능한가?
• RQ5 PriorBand는 기존의 다중 신뢰도 및 모델 기반 HPO 알고리즘을 효과적으로 확장할 수 있는가?

주요 결과

• PriorBand는 테스트한 12개 모든 벤치마크에서 최종 검증 오차를 가장 낮게 기록했으며, HyperBand, BO, Mobster와 같은 기준선을 일관되게 능가했다.
• PD1-LM1B 벤치마크에서 PriorBand+BO는 최종 오차 $0.630 /pm 0.018$을 기록했으며, Mobster+ESP($0.634 /pm 0.014$)와 Mobster($0.643 /pm 0.014$)보다 유의미하게 우수했다.
• 좋은 전문가 사전 지식이 있는 경우, PriorBand는 JAHS-C10에서 Mobster의 $12.192 /pm 1.558$에서 PriorBand+BO의 $8.281 /pm 0.221$로 최종 오차를 감소시켰다.
• 나쁜 전문가 사전 지식이 있더라도 PriorBand는 강력한 성능을 유지했으며, PD1-ImageNet에서 Mobster의 $0.333 /pm 0.056$에서 PriorBand의 $0.328 /pm 0.035$로 오차를 감소시켰다.
• 5배 예산 설정에서 PriorBand+BO는 PD1-ImageNet에서 최종 오차 $0.249 /pm 0.025$를 기록했으며, Mobster($0.410 /pm 0.233$)와 Mobster+ESP($0.336 /pm 0.164$)를 모두 능가했다.
• 이 방법은 강력한 anytime 성능을 보였으며, 탐색 초기 단계에서도 무작위 탐색과 HyperBand보다 더 좋은 결과를 도출했다.

Figure 2: A comparison of naive solutions to Equation 1 on the $3$ -dimensional multi-fidelity Hartmann benchmarks. We compare different versions of HB , utilizing different strengths of the prior distribution $\pi(\cdot)$ : HB with 0% influence of the prior ( HB ), HB with 50% sampling from the pri