[論文レビュー] Faster Improvement Rate Population Based Training

Valentin Dalibard, Max Jaderberg|arXiv (Cornell University)|Sep 28, 2021

Machine Learning and Data Classification参考文献 21被引用数 4

ひとこと要約

本稿では、学習率スケジューリングの不同段階に最適化されたサブパopulationに分割することで、短期的成績向上を重視するのではなく、訓練における改善速度に基づく新しいフィットネス指標を用いることで、より良い最終的性能を達成するFaster Improvement Rate Population Based Training (FIRE PBT) を提案する。FIRE PBTは、ImageNetおよび強化学習ベンチマークで標準PBTを上回り、手動で最適化された学習率スケジュールと同等の性能を達成する。

ABSTRACT

The successful training of neural networks typically involves careful and time consuming hyperparameter tuning. Population Based Training (PBT) has recently been proposed to automate this process. PBT trains a population of neural networks concurrently, frequently mutating their hyperparameters throughout their training. However, the decision mechanisms of PBT are greedy and favour short-term improvements which can, in some cases, lead to poor long-term performance. This paper presents Faster Improvement Rate PBT (FIRE PBT) which addresses this problem. Our method is guided by an assumption: given two neural networks with similar performance and training with similar hyperparameters, the network showing the faster rate of improvement will lead to a better final performance. Using this, we derive a novel fitness metric and use it to make some of the population members focus on long-term performance. Our experiments show that FIRE PBT is able to outperform PBT on the ImageNet benchmark and match the performance of networks that were trained with a hand-tuned learning rate schedule. We apply FIRE PBT to reinforcement learning tasks and show that it leads to faster learning and higher final performance than both PBT and random hyperparameter search.

研究の動機と目的

• Population Based Training (PBT) が長期的な一般化性能よりも短期的成績向上を重視するという限界を是正すること。
• 訓練中の改善速度に注目することで、最終的成績が優れるハイパーパrameterスケジュールを特定する手法の開発。
• 画像分類および強化学習において、手動で最適化された学習率スケジュールと同等またはそれを上回る性能を達成する自動ハイパーパrameterチューニングの実現。
• 手動チューニングへの依存を減らし、スケーラブルで並列処理可能な最適化フレームワークを構築し、自律的に効果的なハイパーパrameterスケジュールを学習可能にする。

提案手法

• FIRE PBTは、パラメータの改善速度に基づくフィットネス関数を用いることで、パラメータを互いに排他的なサブパopulationに分割して訓練する。
• フィットネス指標は、訓練時間単位あたりのバリデーション性能の向上速度を評価し、初期段階での急激な改善を示すモデルを優遇する。
• サブパopulationは、異なるハイパーパrameterスケジュールで訓練され、それぞれが学習曲線の異なる段階（例：高い学習率対低下した学習率）に特化する。
• 劣悪な性能を示すメンバーが、同じサブパopulation内の上位パフォーマンスを示す同僚から重みとハイパーパラメータを複製できるように、切断選択子（truncation selector）を用いる。
• 学習率や信頼領域サイズなどのハイパーパラメータは、事前に定義されたスケーリング係数を用いた乗法的ノイズを用いて独立して変異させる。
• 評価者（evaluators）はパフォーマンスを監視し、定期的なインターバルで活用と探索ステップをトリガーし、訓練の中断を避けながら継続的な適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 改善速度に基づくフィットネス指標は、標準PBTが即時のパフォーマンスに基づくフィットネスを用いるのと比較して、ハイパーパラメータ最適化で優れた性能を示せるか？
• RQ2 FIRE PBTは、ImageNetで手動で最適化された学習率スケジュールと同等またはそれ以上の性能を達成するハイパーパラメータスケジュールを学習できるか？
• RQ3 FIRE PBTは、PBTやランダムサーチと比較して、強化学習におけるサンプル効率と最終的パフォーマンスを向上させられるか？
• RQ4 FIRE PBTにおけるサブパopulationへの分解戦略は、複雑で多段階のハイパーパラメータスケジュールのより良い探索を可能にするか？

主な発見

• ImageNetベンチマークでは、FIRE PBTはテスト精度76.5%を達成し、PBTの71.7%を上回り、手動で最適化された学習率スケジュールの76.6%と同等の精度を達成した。
• Ant-v1およびHumanoid-v1における強化学習では、FIRE PBTはPBTおよびランダムサーチと比較して、より速い学習と高い最終的パフォーマンスを達成した。これは、最高エピソードリターンの分布から明らかである。
• 改善速度をフィットネス指標として用いることで、PBTが学習率を早期に低下させてしまう傾向を効果的に是正し、劣悪な最終的パフォーマンスを回避できた。
• FIRE PBTは、異なる環境やハイパーパラメータ設定においても、追加のハイパーパラメータチューニングを必要とせずに、一貫したパフォーマンス向上を示した。