[論文レビュー] Accelerated Methods for Deep Reinforcement Learning

Adam Stooke, Pieter Abbeel|arXiv (Cornell University)|Mar 7, 2018

Reinforcement Learning in Robotics参考文献 19被引用数 97

ひとこと要約

本論文は、ポリシー勾配法とQ値法の両方を並列化するための統一GPU加速型マルチシミュレータフレームワークを紹介し、大規模バッチサイズとCPU+GPUでの高速学習を可能にします。Atari/AEで実証され、 wall-clock の速度向上を顕著に示します。

ABSTRACT

Deep reinforcement learning (RL) has achieved many recent successes, yet experiment turn-around time remains a key bottleneck in research and in practice. We investigate how to optimize existing deep RL algorithms for modern computers, specifically for a combination of CPUs and GPUs. We confirm that both policy gradient and Q-value learning algorithms can be adapted to learn using many parallel simulator instances. We further find it possible to train using batch sizes considerably larger than are standard, without negatively affecting sample complexity or final performance. We leverage these facts to build a unified framework for parallelization that dramatically hastens experiments in both classes of algorithm. All neural network computations use GPUs, accelerating both data collection and training. Our results include using an entire DGX-1 to learn successful strategies in Atari games in mere minutes, using both synchronous and asynchronous algorithms.

研究の動機と目的

• 現代のマルチCPU/GPUハードウェアを活用して、深層強化学習における実験のターンアラウンド時間のボトルネックを動機づけ、解決する。

提案手法

• 推論と学習の両方にGPUを用い、複数のアルゴリズムにまたがる統一的な並列RLフレームワークを提案する。
• A2C、PPO、DQNおよびその派生に対して、複数GPUを用いた同期的および非同期的な最適化を実装する。
• 標準よりはるかに大きなバッチサイズでの学習を可能にしつつ、サンプル効率と最終性能を保つ。
• 多くの並列シミュレータでのバッチ推論によるスケーラブルなサンプリングを実証する。
• スループット、スピードアップ、学習品質を測定するため Arcade Learning Environment を用いた Atari 上で評価する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー勾配法とQ値法のアルゴリズムを、多数の.parallelシミュレータを用いて性能を損なうことなく効率的に学習させるように適応できるか？
• RQ2 サンプル効率と最終的な成果を維持しつつ、学習バッチサイズはどれほど大きくできるか？
• RQ3 同期更新と非同期更新を用いて複数GPUへスケールさせたときのスピードアップとボトルネックは何か？
• RQ4 異なるアルゴリズムで、並列サンプリングが学習の安定性とサンプル複雑度に実際にどのような影響を与えるか？

主な発見

• バッチ推論を用いた同期サンプリングは高いハードウェア利用率を達成でき、Breakout で8-GPUサーバー上で毎秒35,000件を超えるサンプルを得られる。
• ポリシー勾配法とQ learningアルゴリズムは、A2C、A3C、PPO、APPO、DQN系の派生において、多数の並列シミュレータを用いて学習させても、ゲームスコアやサンプル効率の大幅な劣化は生じないよう適応できる。
• Large training batches up to several hundreds to thousands of experiences per update can accelerate learning; some algorithms retain performance with batch sizes as large as 2,048 for Categorical DQN, while others show limits at very large batches.
• Asynchronous and synchronous multi-GPU approaches yield substantial wall-clock speedups, with policy-gradient methods completing meaningful learning in minutes rather than hours.
• For Atari experiments, several configurations achieve orders-of-magnitude reductions in training time (e.g., A2C/A3C completing 50M steps in hours rather than days) while maintaining comparable human-normalized scores.