[論文レビュー] Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU

Mohammad Babaeizadeh, Iuri Frosio+3 more|arXiv (Cornell University)|Nov 18, 2016

Reinforcement Learning in Robotics参考文献 10被引用数 174

ひとこと要約

GA3C は、ニューラルネットを GPU に集中させ、予測と訓練キューを使用し、リソース構成を自動的に調整して、CPUのみの A3C と比べて学習を大幅に高速化する A3C のハイブリッド CPU/GPU 実装である。

ABSTRACT

We introduce a hybrid CPU/GPU version of the Asynchronous Advantage Actor-Critic (A3C) algorithm, currently the state-of-the-art method in reinforcement learning for various gaming tasks. We analyze its computational traits and concentrate on aspects critical to leveraging the GPU's computational power. We introduce a system of queues and a dynamic scheduling strategy, potentially helpful for other asynchronous algorithms as well. Our hybrid CPU/GPU version of A3C, based on TensorFlow, achieves a significant speed up compared to a CPU implementation; we make it publicly available to other researchers at https://github.com/NVlabs/GA3C .

研究の動機と目的

• GPU 上で訓練される非同期深層強化学習法の計算上のボトルネックを動機づけ、分析する。
• 収束性を保ちつつ GPU の並列性をより活用する GA3C アーキテクチャを提案する。
• 訓練スループット（TPS）を最大化するためのシステムノブ（predictors, trainers, agents）の動的自動調整を検討する。
• ネットワークサイズとハードウェアに対する GA3C のスケーリングを評価し、CPU ベースの A3C との収束速度を比較する。

提案手法

• TensorFlow で単一の GPU モデルインスタンスを用いた A3C の CPU/GPU ハイブリッド版（GA3C）を実装する。
• エージェントがポリシーをバッチで要求する予測キューと、GPUモデルを更新するためのバッチを使用する訓練キューを導入する。
• ポリシー推論をバッチで提供するためのGPU予測子を1つ以上、GPU 上のモデルをバッチ更新するための複数のトレーナーを使用する。
• DNN 重みを単一のパラメータサーバ風構造に集中させ、エージェントごとのモデルコピーと同期オーバーヘッドを排除する。
• 探索を促進するためにポリシー損失にエントロピー正則化項を組み込む。
• 遅延によりパラメータが古くなる（ポリシー lag）場合に勾配を安定化させるため、対数確率とエントロピーの計算に小さな ε を追加する。
• 観測された TPS に基づいて、N_P（予測子）、N_T（トレーナー）、N_A（エージェント）を毎分動的に調整し、ほぼ最適な構成を見つける。

実験結果

リサーチクエスチョン

• RQ1 GA3C は DNN を GPU に集中化し、予測と訓練をバッチ処理することで、CPU ベースの A3C に対して substantial な高速化を達成できるか。
• RQ2 予測子/トレーナー/エージェントの数は、GA3C における GPU の利用率、訓練スループット、収束安定性にどう影響するか？
• RQ3 N_P、N_T、N_A の動的自動調整は、異なるゲームやハードウェアで収束速度とロバスト性を向上させるか？
• RQ4 ポリシー lag および訓練バッチサイズが GA3C の学習安定性と収束に与える影響は？
• RQ5 より大きい DNN アーキテクチャに対する GA3C のスケーリングは、CPU 実装と比べてどうか？

主な発見

• GA3C は、同等のタスクで CPU A3C に対して small DNN で最大約 6 倍、large DNN で約 45 倍の速度up を達成する。
• 最適構成は通常、複数のエージェントを用い、予測子/トレーナーの比率をバランスさせる（例：N_P ≈ N_T、N_A は CPU コアを活用するように設定）
• N_P、N_T、および N_A の動的自動調整は、同じハードウェア上でゲーム間（例: Pong, Boxing）に適応しつつほぼ最適な構成を発見できる。
• 現実的な範囲（約 20–40）で訓練バッチサイズを増やすと、ポリシー Lag を緩和して学習の安定性と収束速度を改善できるが、過度に大きいバッチはスループットを低下させる。
• GA3C はいくつかの Atari ゲームで A3C より速い実時間学習曲線を達成し、GA3C が約1日で訓練されると A3C が約4日で訓練された場合と同等のスコアに近づく。
• 手動測定は、素朴な設定でかなりの GPU がアイドル状態になることを示しており、バッチ処理とGPU 集中利用の利点を強調している。