[論文レビュー] TensorFlow Agents: Efficient Batched Reinforcement Learning in TensorFlow

Danijar Hafner, James Davidson+1 more|arXiv (Cornell University)|Sep 8, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用数 29

ひとこと要約

この論文では、TensorFlowにおける効率的なバッチ処理強化学習を実現するフレームワークであるTensorFlow Agentsを紹介する。このフレームワークは、環境のシミュレーションを並列化し、ニューラルネットワークの推論をバッチ処理することで、学習を高速化する。BatchPPOは、プロキシマル・ポリシー最適化（PPO）の最適化された実装であり、CPUリソースのみを用いても、MuJoCoの歩行タスクにおいて、公表済みの結果と同等またはそれ以上の性能を達成している。

ABSTRACT

We introduce TensorFlow Agents, an efficient infrastructure paradigm for building parallel reinforcement learning algorithms in TensorFlow. We simulate multiple environments in parallel, and group them to perform the neural network computation on a batch rather than individual observations. This allows the TensorFlow execution engine to parallelize computation, without the need for manual synchronization. Environments are stepped in separate Python processes to progress them in parallel without interference of the global interpreter lock. As part of this project, we introduce BatchPPO, an efficient implementation of the proximal policy optimization algorithm. By open sourcing TensorFlow Agents, we hope to provide a flexible starting point for future projects that accelerates future research in the field.

研究の動機と目的

• TensorFlowにおける強化学習アルゴリズムの学習を統合的かつ効率的に実行できるインfraを提供することで、強化学習研究の加速を図ること。
• GILの制約を避けるために、別々のPythonプロセスを用いて複数の環境を並列にシミュレートすることで、強化学習における環境との相互作用のボトル neck を解消すること。
• 観測値をバッチ化し、個々の遷移ではなく一括処理でニューラルネットワークの推論を実行することで、計算効率を向上させること。
• アルゴリズムの実装と環境との相互作用を分離することで、迅速なプロトタイピングを可能にする再利用可能で拡張可能なフレームワークを提供すること。
• 将来的な強化学習研究のための高性能なベースラインとして、最適化されたPPO実装であるBatchPPOをリリースすること。

提案手法

• OpenAI Gymのインターフェースを拡張し、複数の環境を別々のPythonプロセスで並列にステップ実行できるバッチ処理環境を実装し、GILの競合を回避する。
• バッチ処理環境をTensorFlowの計算グラフに統合し、1回のセッション呼び出しでエンドツーエンドの微分可能学習を可能にする。
• 過去のポリシーで収集したオフポリシーのデータを用いてポリシーを更新する際の分布シフトを補正するために、重要度サンプリングを用いる。
• 2つのストリームからなるニューラルネットワークアーキテクチャを採用：1つはアクション平均の予測、もう1つは価値関数の推定。両者ともReLU活性化関数を用い、アクションの制限を満たすためにtanh出力を使用。
• ストリーミング統計を用いて観測値と報酬の正規化を実施し、学習の安定化のためKLダイバージェンスペナルティを追加。
• 固定学習率を用いたAdam最適化手法を採用し、1バッチ25エピソードあたり25ステップの勾配更新を実行することで、ポリシーおよび価値ネットワークを同時に更新。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow内に統合的でバッチ処理可能なインfraを構築することで、強化学習アルゴリズムの学習が著しく高速化できるか？
• RQ2 別々のプロセスを用いた並列な環境シミュレーションは、逐次的またはGIL制約のある実行と比較して、学習スループットをどのように向上させるか？
• RQ3 PPOのバッチ処理実装は、標準的なMuJoCo制御ベンチマークで、公表済みの結果と同等またはそれ以上の性能を達成できるか？
• RQ4 適切なバッチ処理と並列化を施すことで、CPUリソースのみを用いても、効率的かつスケーラブルな強化学習学習が実現可能か？
• RQ5 環境シミュレーションとニューラルネットワーク推論を1つのTensorFlowグラフに統合することで、学習ループはどのように簡素化されるか？

主な発見

• BatchPPOは、HalfCheetah-v1、Walker2d-v1、Humanoid-v1の各タスクで、元のPPO実装と同等またはそれ以上の性能を達成している。
• フレームワークにより、6コアのCPUのみを用いた単一マシン上でも効率的な学習が可能であり、バッチ処理による環境相互作用によって性能が効果的にスケーリングされている。
• 平均アクションを用いた評価では安定した高い報酬が得られ、学習中にサンプリングを実行した場合も、3つの異なる乱数シードで一貫した学習進捗が観察された。
• 結果図における25〜75パーセンタイルの信頼区間（色分け領域）は、低分散を示しており、信頼性の高い再現性のある性能であることを裏付けている。
• 環境ステップのための別々のプロセスの使用により、GILのボトル neck が解消され、環境相互作用における真の並列処理が可能になった。
• フレームワークの設計により、リセットおよびログ出力用の制御テンソルを用いることで、学習フェーズと評価フェーズの間でのシームレスな切り替えが可能になった。