[論文レビュー] Provably Efficient Online Hyperparameter Optimization with\n Population-Based Bandits

Jack Parker-Holder, Loc Nguyen+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research被引用数 36

ひとこと要約

PB2は時変ガウス過程バンディットを用いてハイパーパラメータのスケジュールを導くことで、証明可能に効率的なPBT風アルゴリズムを提案し、サブ線形レグレットと小規模集団でもRL性能を向上させる。ヒューリスティック探索を並列訓練設定の principled Bayesian optimization に置換。

ABSTRACT

Many of the recent triumphs in machine learning are dependent on well-tuned\nhyperparameters. This is particularly prominent in reinforcement learning (RL)\nwhere a small change in the configuration can lead to failure. Despite the\nimportance of tuning hyperparameters, it remains expensive and is often done in\na naive and laborious way. A recent solution to this problem is Population\nBased Training (PBT) which updates both weights and hyperparameters in a single\ntraining run of a population of agents. PBT has been shown to be particularly\neffective in RL, leading to widespread use in the field. However, PBT lacks\ntheoretical guarantees since it relies on random heuristics to explore the\nhyperparameter space. This inefficiency means it typically requires vast\ncomputational resources, which is prohibitive for many small and medium sized\nlabs. In this work, we introduce the first provably efficient PBT-style\nalgorithm, Population-Based Bandits (PB2). PB2 uses a probabilistic model to\nguide the search in an efficient way, making it possible to discover high\nperforming hyperparameter configurations with far fewer agents than typically\nrequired by PBT. We show in a series of RL experiments that PB2 is able to\nachieve high performance with a modest computational budget.\n

研究の動機と目的

• 強化学習で時間とともに変化するハイパーパラメータの自動最適化を効率的に動機づける。
• ヒューリスティックなPBT探索を理論的に基づくGPベースのバンディット手法に置換。
• PB2風アルゴリズムのレグレット境界を提供し、RLベンチマークで実践的な利得を示す。

提案手法

• 時間変化するハイパーパラメータ最適化を、時間変化カーネルを持つバッチガウス過程（GP）バンディット問題としてモデル化する。
• ニュラルネットワーク訓練ダイナミクスの非定常性を捉えるために時間変化カーネルを用いる（K = SE ∘ K_time）。
• 進行中の評価を考慮した取得関数を逐次最大化して並列エージェントのハイパーパラメータのバッチを選択する。
• 弱い滑らかさとリップシッツ条件の下でPB2のサブ線形レグレット界を証明（定理2）。
• OpenAI GymとIMPALAタスクでPB2をPBT, RS, BO, ASHAと実験的に対比。

実験結果

リサーチクエスチョン

• RQ1 PB2は時間変化するハイパーパラメータ最適化設定でサブ線形レグレットを達成できるか。
• RQ2 GPベースの時間変化探索戦略はRLタスクにおけるヒューリスティックPBT探索を上回るか。
• RQ3 PB2は小さな集団サイズと誤指定されたハイパーパラメータ範囲でどう動くか。
• RQ4 PB2はより大きな集団とIMPALAのような競合RLベンチマークにスケールできるか。
• RQ5 PB2が既存のベースラインと比較してサンプル効率と最終的なRLパフォーマンスに与える実務的影響は？

主な発見

B	RS	BO	ASHA	PBT	PB2	PBTとの比較
4	234	133	236	223	276	+24%
4	161	206	213	159	235	+48%
4	1638	1760	1819	1492	2346	+57%
4	8094	8607	7899	8893	8179	-8%
8	240	237	255	277	291	+5%
8	175	240	231	247	275	+11%

• PB2は複数タスクでPBT, RS, BO, ASHAと比較して競争力のある、または優れた最終RL性能を達成。
• 集団が小さい場合、PB2はPBTを上回り、IMPALA実験で手動調整ベースラインにしばしば匹敵または超える。
• ハイパーパラメータ範囲が不適切に指定された場合でもPB2は頑健で、PBTが低下する場面で強い性能を維持。
• 理論結果: PB2はサブ線形レグレットを達成し、集団サイズ（B）が大きく、時間変化関数の相関が高い（ωが低い）ほど改善。
• PB2は単一の訓練実行内でオンラインでハイパーパラメータスケジュールを学習し、従来のバッチBOアプローチと比較して計算負荷を軽減。