[論文レビュー] Multi-Batch Experience Replay for Fast Convergence of Continuous Action Control.

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|Oct 12, 2017

Reinforcement Learning in Robotics参考文献 12被引用数 5

ひとこと要約

本論文は、連続的制御タスクにおけるオフポリシーのアクタ・クリティック強化学習のためのマルチバッチ経験リプレイ手法を提案する。この手法は、顕著なバイアスを導入することなく、サンプル効率を向上させ、PPOに類似したアルゴリズムの収束を加速する。複数の連続的制御環境において、学習速度と最終的な性能が向上する。

ABSTRACT

Policy gradient methods for direct policy optimization are widely considered to obtain optimal policies in continuous Markov decision process (MDP) environments. However, policy gradient methods require exponentially many samples as the dimension of the action space increases. Thus, off-policy learning with experience replay is proposed to enable the agent to learn by using samples of other policies. Generally, large replay memories are preferred to minimize the sample correlation but large replay memories can yield large bias or variance in importance-sampling-based off-policy learning. In this paper, we propose a multi batch experience replay scheme suitable for off-policy actor-critic-style policy gradient methods such as the proximal policy optimization (PPO) algorithm, which maintains the advantages of experience replay and accelerates learning without causing large bias. To demonstrate the superiority of the proposed method, we apply the proposed experience replay scheme to the PPO algorithm and various continuous control tasks. Numerical results show that our algorithm converges faster and closer to the global optimum than other policy gradient methods.

研究の動機と目的

• 高次元の連続的行動空間における方策勾配法の収束が遅いという課題に対処すること。
• オフポリシー学習における重要度サンプリングのバイアスを避ける一方で、経験リプレイにおけるサンプル相関を低減すること。
• ポリシー最適化の安定性を損なわせることなく、オフポリシーのアクタ・クリティック手法（PPOなど）における学習を加速すること。
• 大きなリプレイメモリの利点を維持しつつ、オフポリシー更新における分散とバイアスを最小限に抑えること。

提案手法

• 本手法は、経験遷移をバッチに整理することで、より効率的なサンプリングとトレーニングを可能にするマルチバッチ経験リプレイ方式を導入する。
• 複数の過去のポリシーからの遷移を再利用することで、オフポリシー学習を可能にし、データ効率を向上させる。
• 時間的整合性を保つバッチ構造を採用することで、大きなリプレイバッファを維持してサンプル相関を低減しつつ、バイアスを回避する。
• 本手法はPPOアルゴリズムに統合されており、重要度サンプリングを用いた安定で効率的なポリシー更新が可能になる。
• バッチベースのリプレイ構造により、各ポリシー更新時に経験データをより効果的に活用でき、収束が加速する。

実験結果

リサーチクエスチョン

• RQ1 マルチバッチ経験リプレイ方式は、連続的制御タスクにおける学習収束速度を向上させることができるか？
• RQ2 提案手法は、標準的な経験リプレイと比較して、重要度サンプリングにおけるバイアスと分散を低減するか？
• RQ3 従来のリプレイと比較して、マルチバッチアプローチは最終的なポリシー性能とサンプル効率において優れているか？
• RQ4 本手法はPPOに効果的に統合可能であり、学習の安定性を損なわないか？

主な発見

• 提案手法は、連続的制御タスクにおいて、標準的な経験リプレイおよび他の方策勾配ベースラインと比較して、より速い収束を達成する。
• 既存のオフポリシー手法よりもグローバル最適解に近い収束を示しており、最適化の安定性が向上していることが示唆される。
• マルチバッチ設計により、サンプル相関が効果的に低減されるとともに、重要度サンプリングにおけるバイアスも低く抑えられている。
• 複数の連続的制御環境における実験結果から、全テストタスクにおいて一貫した性能向上が確認された。