[論文レビュー] A Generalized Framework for Population Based Training

Ang Li, Ola Spyra+7 more|arXiv (Cornell University)|Feb 5, 2019

Music and Audio Processing参考文献 16被引用数 6

ひとこと要約

この論文は、ハイパーパramータ最適化とモデル学習を分離することで、非同期的でスケーラブルかつ拡張可能なニューラルネットワークの重みとハイパーパramータの共同最適化を可能にするブラックボックスで分散型のPBT（Population-Based Training）フレームワークを提案する。本システムは、従来の手法と比較して、WaveNetベースの音声合成において優れた収束速度とモデル精度を達成しており、動的ハイパーパramータスケジュールのサポートと最小限のインfra構成変更を実現している。

ABSTRACT

Population Based Training (PBT) is a recent approach that jointly optimizes neural network weights and hyperparameters which periodically copies weights of the best performers and mutates hyperparameters during training. Previous PBT implementations have been synchronized glass-box systems. We propose a general, black-box PBT framework that distributes many asynchronous "trials" (a small number of training steps with warm-starting) across a cluster, coordinated by the PBT controller. The black-box design does not make assumptions on model architectures, loss functions or training procedures. Our system supports dynamic hyperparameter schedules to optimize both differentiable and non-differentiable metrics. We apply our system to train a state-of-the-art WaveNet generative model for human voice synthesis. We show that our PBT system achieves better accuracy, less sensitivity and faster convergence compared to existing methods, given the same computational resource.

研究の動機と目的

• 従来の2段階のニューラルネットワーク学習（ハイパーパラメータチューニングの後、モデル学習）における非効率性と人的コストの高さを解消すること。
• 学習中にモデル重みとハイパーパラメータの両方をエンドツーエンドで自動的に最適化し、手動での設計依存を減らすこと。
• モデルアーキテクチャ、損失関数、学習手順に関する仮定を一切設けない、スケーラブルで拡張可能なPBTシステムの設計。
• 微分可能・非微分可能なメトリクスの両方に対応した動的ハイパーパラメータスケジュールを可能にし、最適化の柔軟性を高めること。
• 最先端のWaveNet音声合成という現実世界の高複雑度タスクにおいて、フレームワークの有効性を実証すること。

提案手法

• 各試行が一定ステップ数に制限された独立した短時間の「試行」にモデル学習を分解し、過去のチェックポイントからウォームスタートする。
• すべての試行を監視する集中型PBTコントローラーを採用し、性能の高いモデルを選別し、突然変異によって新しいハイパーパラメータを割り当てる。
• ブラックボックス設計を採用し、ワーカーが他のワーカーのメトリクスを直接アクセスしないことで、多様な学習フレームワークとの互換性を実現。
• クラスタ上で非同期実行を可能にし、プリエンプションやリカバリをサポートするとともに、再実行やガベージコレクションを可能にする。
• 計算コストの上限を設定するための予算モードを導入し、パフォーマンスフィードバックに基づく動的ハイパーパラメータスケジュールをサポート。
• チェックポイントベースのウォームスタートに依存することで、試行間で知識を転送し、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスで分散型のPBTフレームワークは、大規模ディープラーニングにおける既存のハイパーパラメータチューニング手法と比較して、より優れた収束性と精度を達成できるか？
• RQ2 提案されたPBTシステムは、スケーラブルかつ非同期的・フェイルセーフな方法でモデル学習とハイパーパラメータ最適化をどのように処理するか？
• RQ3 WaveNetのような複雑なモデルにおいて、過去の試行のチェックポイントからのウォームスタートが、学習効率とパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 本システムは非微分可能なメトリクスの最適化と動的ハイパーパラメータスケジュールの両方を効果的にサポートできるか？
• RQ5 本システムの設計は、実世界の応用においてパフォーマンスを維持しつつ、インfraのオーバーヘッドをどの程度低減できるか？

主な発見

• 提案されたPBTシステムは、人間の声合成の最先端WaveNetモデルにおいて、既存のハイパーパラメータチューニング手法と比較して、より高い精度と高速な収束を達成した。
• 同じ計算リソース予算でも優れたパフォーマンスを示したため、リソースのより効率的な使用が可能であることが示された。
• ブラックボックスで非同期的な設計により、クラスタ全体での効果的なスケーリングが可能であり、プリエンプションや障害からのリカバリをサポートした。
• 優れた試行からのウォームスタートを活用することで、ランダムまたは静的ハイパーパラメータスケジュールと比較して、収束が著しく加速した。
• 動的ハイパーパラメータスケジュール、特に非微分可能なメトリクスの最適化も効果的に実行でき、従来の手法が困難とする分野でも有効であった。
• システムの設計により、既存の学習パイプラインへの統合に最小限のインfra変更で対応でき、実用的な展開性が向上した。