[論文レビュー] Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization

Lisha Li, Kevin Jamieson+3 more|arXiv (Cornell University)|Mar 21, 2016

Machine Learning and Data Classification被引用数 1,061

ひとこと要約

Hyperbandは、探索純粋型のバンディットベースのハイパーパラメータ最適化手法を導入し、構成ごとにリソース（例：反復、データ、特徴量）を適応的に割り当て、連続的な半分割の複数のブランケットを用いてハイパーパラメータ探索を高速化し、しばしばベイズ最適化を上回る。

ABSTRACT

Performance of machine learning algorithms depends critically on identifying a good set of hyperparameters. While recent approaches use Bayesian optimization to adaptively select configurations, we focus on speeding up random search through adaptive resource allocation and early-stopping. We formulate hyperparameter optimization as a pure-exploration non-stochastic infinite-armed bandit problem where a predefined resource like iterations, data samples, or features is allocated to randomly sampled configurations. We introduce a novel algorithm, Hyperband, for this framework and analyze its theoretical properties, providing several desirable guarantees. Furthermore, we compare Hyperband with popular Bayesian optimization methods on a suite of hyperparameter optimization problems. We observe that Hyperband can provide over an order-of-magnitude speedup over our competitor set on a variety of deep-learning and kernel-based learning problems.

研究の動機と目的

• 複雑な機械学習モデルの性能が複数のパラメータの調整に依存するというハイパーパラメータ最適化の課題を動機づける。
• 構成間で計算リソースを適応的に割り当てる高速で原理的な手法を提案する。
• 純粋探索型の無限アームバンディット定式化に対する理論的保証を提供する。
• さまざまなタスクとリソース条件に対してHyperbandをベイズ最適化法と経験的に比較する。

提案手法

• ハイパーパラメータ最適化を純粋探索的で確率過程非依存、無限アームのバンディット問題として定式化する。
• Exploration（多数の構成）と exploitation（各構成へのリソース増加）をトレードオフするため、Successive Halvingの複数ブランケットを組み合わせたHyperbandを導入する。
• n（構成数）とr（各構成あたりのリソース）というパラメータを用いた有限予算の外部ループにおいて、各ブランケットがSuccessive Halvingを実行する。
• 入力としてR（各構成の最大リソース）とeta（破棄ファクター）を定義し、s_maxと総予算Bを導出する。
• 未知のRに対応するため、時間とともに予算を倍増させる無限ビ horizonバージョンを提供する。
• Hyperbandが未知の収束速度と検証損失のエンベロープ挙動に対して強いパラメトリック仮定なしで適応することを実証する。
• Hyperbandは任意のハイパーパラメータサンプリング戦略と組み合わせることができ、評価の確率的性に対して不変であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータ最適化を純粋探索的な無限アームバンディット問題としてどのように定式化できるか？
• RQ2 固定予算の下で、複数のブランケットと成功的ハイバを用いて良いハイパーパラメータを効率的に同定できるか？
• RQ3 Hyperbandはさまざまなリソースタイプやタスクに対してベイズ最適化法と比較してどうであるか？
• RQ4 有限ホライズンと無限ホライズンの設定の両方でHyperbandに対してどのような理論的保証が確立できるか？

主な発見

• Hyperbandは深層学習およびカーネルベースのタスクにおいて、ベイズ最適化法より大幅なスピードアップを達成する（場合によってはオーダー以上）ことを示す。
• 複数の異なるnとrのトレードオフを持つブランケットを用いて、攻撃的な探索と保守的な評価の間でヘッジを行う。
• 無限ホライズン版と純粋探索のフレーミングは、未知のエンベロープ挙動の下で理想的なSuccessive Halvingに対する理論的洞察とほぼ最適な予算使用を提供する。
• 反復、データサブサンプリング、特徴量サブサンプリングを横断する実証結果は、堅牢性と広い適用性を示す。
• HyperbandはRとetaだけを必要とし、任意のハイパーパラメータサンプリング手法と組み合わせ可能である。