[論文レビュー] Population Based Training of Neural Networks

Max Jaderberg, Valentin Dalibard+10 more|arXiv (Cornell University)|Nov 27, 2017

Machine Learning and Data Classification被引用数 249

ひとこと要約

Population Based Training (PBT) は、オンラインで非同期的に、集団内のモデルにわたってニューラルネットワークの重みとハイパーパラメータを同時に最適化し、適応的なハイパーパラメータスケジュールと最終パフォーマンスの改善をもたらします。

ABSTRACT

Neural networks dominate the modern machine learning landscape, but their training and success still suffer from sensitivity to empirical choices of hyperparameters such as model architecture, loss function, and optimisation algorithm. In this work we present \emph{Population Based Training (PBT)}, a simple asynchronous optimisation algorithm which effectively utilises a fixed computational budget to jointly optimise a population of models and their hyperparameters to maximise performance. Importantly, PBT discovers a schedule of hyperparameter settings rather than following the generally sub-optimal strategy of trying to find a single fixed set to use for the whole course of training. With just a small modification to a typical distributed hyperparameter training framework, our method allows robust and reliable training of models. We demonstrate the effectiveness of PBT on deep reinforcement learning problems, showing faster wall-clock convergence and higher final performance of agents by optimising over a suite of hyperparameters. In addition, we show the same method can be applied to supervised learning for machine translation, where PBT is used to maximise the BLEU score directly, and also to training of Generative Adversarial Networks to maximise the Inception score of generated images. In all cases PBT results in the automatic discovery of hyperparameter schedules and model selection which results in stable training and better final performance.

研究の動機と目的

• ニューラルネットワークのトレーニングにおけるモデルパラメータとハイパーパラメータの共同最適化の必要性を動機づける。
• モデルの集団を用いて適応的なハイパーパラメータスケジュールを発見する、シンプルで非同期的なメタ最適化手法を紹介する。
• 強化学習、機械翻訳、GAN にわたって PBT を実証し、収束の速さと最終的な性能の向上を示す。
• 集団内でのオンラインのハイパーパラメータ適応とモデル選択が、トレーニングの安定性と成果を改善することを示す。

提案手法

• 現在のモデル状態における真の目的関数 Q を測定する eval を定義する。
• 異なるハイパーパラメータ h を持つ N 個のモデルを集団内で訓練し、step を用いてパラメータ θ を更新する。
• 定期的に性能 p を評価し、準備が整い次第、exploit（より良いパフォーマーから重み/ハイパーパラメータをコピー）と explore（ハイパーパラメータを摺動/リサンプルして探索を拡張）を実行する。
• 中央コントローラなしで非同期に動作し、θ、h、p を用いて集団を更新する。
• Exploit はより良い性能を示すメンバーから重み/ハイパーパラメータをコピーする； explore はハイパーパラメータを摺動させるかリサンプルして探索を広げる。
• PBT を RL (UNREAL、Feudal Networks、StarCraft II 上の A3C)、機械翻訳 (WMT14 EN-DE の Transformer)、および GANs (Inception score) に適用する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで非同期的、集団ベースの最適化は、従来の逐次的または並列的なハイパーパラメータ調整を上回ることができますか？
• RQ2 PBT によって発見される適応的で非定常なハイパーパラメータスケジュールは、RL、MT、GAN の領域全体でより良い最終パフォーマンスをもたらしますか？
• RQ3 集団サイズ、exploitation 戦略、探索手法が PBT の性能に与える影響は何ですか？
• RQ4 PBT による重みとハイパーパラメータの共同最適化は、固定ハイパーパラメータスケジュールや単純なランダム/グリッド探索よりも頑健ですか？
• RQ5 トレーニング中に有効なハイパーパラメータスケジュール（例：学習率の減衰、アンル長など）を自動的に発見することを PBT は可能にしますか？

主な発見

• PBT は DM Lab、Atari、StarCraft II、MT、GAN タスク全般で、ランダム探索のベースラインより最終性能を向上させます。
• ハイパーパラメータは訓練中に適応し、学習率減衰やアンルL長などのスケジュールを自動発見します。
• Exploitation（エクスプロイト）とオンラインのモデル選択は、良好な解を集団全体に伝搬させ、安定性とサンプル効率を向上させる。
• 同じ訓練ステップでも最終性能を高め、広範な手動調整の必要性を減らすことができます。
• より小さな集団は分散を増加させる可能性がある。20人以上のワーカーの集団は一貫した改善をもたらすが、規模が大きくなると収益は逓減する。