[論文レビュー] PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning

Neeratyoy Mallik, Edward M. Bergman+6 more|arXiv (Cornell University)|Jun 21, 2023

Machine Learning and Data Classification被引用数 7

ひとこと要約

PriorBand は、深層学習における実用的なハイパラメータ最適化（HPO）手法であり、熟練知識と安価なプロキシタスクを統合することで、優れた効率性と頑健性を達成する。様々なDLベンチマークにおいて既存手法を上回り、強力ないつでも性能（anytime performance）を示し、不正確な熟練知識に対しても耐性を示す。

ABSTRACT

Hyperparameters of Deep Learning (DL) pipelines are crucial for their downstream performance. While a large number of methods for Hyperparameter Optimization (HPO) have been developed, their incurred costs are often untenable for modern DL. Consequently, manual experimentation is still the most prevalent approach to optimize hyperparameters, relying on the researcher's intuition, domain knowledge, and cheap preliminary explorations. To resolve this misalignment between HPO algorithms and DL researchers, we propose PriorBand, an HPO algorithm tailored to DL, able to utilize both expert beliefs and cheap proxy tasks. Empirically, we demonstrate PriorBand's efficiency across a range of DL benchmarks and show its gains under informative expert input and robustness against poor expert beliefs

研究の動機と目的

• 限られた計算リソース予算下での現代の深層学習実践と、既存のHPO手法との間にある不一致を是正すること。
• 熟練知識と安価なプロキシ評価を効果的に活用して、ハイパラメータ探索を加速するHPOアルゴリズムを開発すること。
• 不正確な熟練知識に対しても頑健性を保ちつつ、低計算リソース予算下でも優れた性能を維持すること。
• カテゴリカル、数値、対数スケールなどの混合タイプのハイパラメータ空間をサポートし、効率的な並列化を可能にすること。
• シンプルでモデルフリーかつモジュール化されたHPOフレームワークを提供し、実世界のDLパイプラインへの理解と実装を容易にすること。

提案手法

• PriorBand は、HyperBand や他のマルチファシリティHPOアルゴリズムを拡張し、熟練者が提供するハイパラメータ設定に関する事前知識を統合する。
• 初期段階の低リソース評価において特に、高い事前確率を持つ設定を優先する階層的バンディットスタイルのリソース配分戦略を採用する。
• 安価なプロキシタスク（例：小さなデータセットや少ない訓練ステップ）での性能に基づき、動的に計算リソースを設定に割り当てる。
• ハイパラメータ上の事前分布を介して熟練知識を統合し、初期サンプリングとリソース配分の意思決定をガイドする。
• 離散的ハイパラメータのための複雑なスラグレースモデルやカーネル設計を避けることで、モデルフリーのシンプルさを維持する。
• 非同期的かつ並列実行をサポートしており、現代のハードウェアにおける効率的スケーリングを可能にする。

Figure 1: Both plots compare Random Search (RS), sampling from prior (RS+Prior), HyperBand (HB), and our method PriorBand which utilizes a good prior as defined by an expert. [ Left ] Tuning a large transformer on the 1B word benchmark. PriorBand leverages the prior, achieving strong anytime perform

実験結果

リサーチクエスチョン

• RQ1 熟練知識と安価なプロキシタスクを効果的に組み合わせることで、深層学習におけるハイパラメータ最適化の効率性を向上させられるか？
• RQ2 PriorBand は、ランダムサーチ、グリッドサーチ、またはHyperBandといった標準的なHPOベースラインと比較して、低計算リソース予算下でどの程度の性能を示すか？
• RQ3 実世界の深層学習環境において、不正確または誤解を招く熟練知識に対し、PriorBand はどの程度の頑健性を示すか？
• RQ4 PriorBand は非同期的かつ並列計算環境でどの程度効率的にスケーリングできるか？
• RQ5 PriorBand は、既存のマルチファシリティおよびモデルベースHPOアルゴリズムを効果的に拡張できる柔軟性を持つだろうか？

主な発見

• PriorBand は、テストされた12のベンチマークすべてで最良の最終検証誤差を達成し、HyperBand や BO や Mobster といったベースラインを一貫して上回った。
• PD1-LM1B ベンチマークでは、PriorBand+BO が最終誤差 $0.630 /pm 0.018$ を達成し、Mobster+ESP の $0.634 /pm 0.014$ や Mobster の $0.643 /pm 0.014$ より顕著に優れた性能を示した。
• 良い熟練知識を用いた場合、PriorBand は JAHS-C10 での最終誤差を Mobster の $12.192 /pm 1.558$ から $8.281 /pm 0.221$ まで低減した。
• 悪い熟練知識を用いても、PriorBand は強力な性能を維持し、PD1-ImageNet では Mobster の $0.333 /pm 0.056$ を $0.328 /pm 0.035$ にまで低減した。
• 5倍のリソース予算設定下でも、PriorBand+BO は PD1-ImageNet で最終誤差 $0.249 /pm 0.025$ を達成し、Mobster の $0.410 /pm 0.233$ や Mobster+ESP の $0.336 /pm 0.164$ を上回った。
• 本手法は、いつでも性能（anytime performance）が強く、探索の初期段階でもランダムサーチ や HyperBand より優れた結果を達成した。

Figure 2: A comparison of naive solutions to Equation 1 on the $3$ -dimensional multi-fidelity Hartmann benchmarks. We compare different versions of HB , utilizing different strengths of the prior distribution $\pi(\cdot)$ : HB with 0% influence of the prior ( HB ), HB with 50% sampling from the pri