[論文レビュー] P3O: Policy-on Policy-off Policy Optimization

Rasool Fakoor, Pratik Chaudhari+1 more|arXiv (Cornell University)|May 5, 2019

Reinforcement Learning in Robotics参考文献 44被引用数 4

ひとこと要約

P3Oは、有効サンプルサイズ（ESS）を用いてオンポリシーとオフポリシー更新を自動でバランスさせる、新しい強化学習アルゴリズムである。これにより、手動によるハイパーパrameterチューニングの必要がなくなり、Atari-2600およびMuJoCoベンチマークで固定のハイパーパrameterで最先端のサンプル効率とパフォーマンスを達成する。

ABSTRACT

On-policy reinforcement learning (RL) algorithms have high sample complexity while off-policy algorithms are difficult to tune. Merging the two holds the promise to develop efficient algorithms that generalize across diverse environments. It is however challenging in practice to find suitable hyper-parameters that govern this trade off. This paper develops a simple algorithm named P3O that interleaves off-policy updates with on-policy updates. P3O uses the effective sample size between the behavior policy and the target policy to control how far they can be from each other and does not introduce any additional hyper-parameters. Extensive experiments on the Atari-2600 and MuJoCo benchmark suites show that this simple technique is effective in reducing the sample complexity of state-of-the-art algorithms. Code to reproduce experiments in this paper is at https://github.com/rasoolfa/P3O.

研究の動機と目的

• オフポリシー強化学習のサンプル効率とオンポリシー強化学習の学習安定性のトレードオフを解消すること。
• オンポリシーとオフポリシー更新を統合する際の手動によるハイパーパrameterチューニングの必要をなくすこと。
• 再チューニングなしで多様な環境に一般化可能な統合的で頑健なアルゴリズムを開発すること。
• 有効サンプルサイズ（ESS）を、ポリシー更新行動を制御する原理的で自動的なメカニズムとして用いること。

提案手法

• P3Oは、単一の目的関数を用いてオンポリシーとオフポリシーのポリシーグラデント更新をインタ leaves する。
• cが正規化された有効サンプルサイズ（ESS）に設定された、クリッピング閾値cを用いた重要度サンプリングを採用する。
• 行動方策βとターゲット方策πθの間のKLダイバージェンスペナルティを適用し、λ = 1 - ESSによりポリシーの逸脱を制御する。
• オフポリシー遷移を格納するためのリプレイバッファを用い、ESSを用いてオフポリシーデータの品質を測定する。
• ESSを用いて、ISクリッピング閾値とKL正則化係数の両方を動的に調整することで、完全に自動化された手法を実現する。
• cとλをESSから直接導出することで、追加のハイパーパrameterを避けて、環境間での頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 有効サンプルサイズ（ESS）を用いて、強化学習におけるオンポリシーとオフポリシー更新のバランスを自動で制御できるか？
• RQ2 ESSに基づくハイパーパrameterフリーな手法が、標準ベンチマークで手動によるハイパーパrameterチューニングを施した既存のアルゴリズムを上回る性能を発揮するか？
• RQ3 統合的アルゴリズムが、多様な強化学習環境において、サンプル効率と学習安定性の両方を達成できるか？
• RQ4 ESSに基づくポリシー更新制御は、従来のハイパーパrameterベースのブレンド手法と比較して、性能と頑健性の面で優れているか？

主な発見

• P3Oは、Atari-2600ベンチマークで、A2C、PPO、Q-Prop、IPGをすべての26ゲームで上回る最先端のパフォーマンスを達成した。
• MuJoCoの連続制御タスクでは、P3Oはすべてのベースラインを大きく上回り、300万ステップ経過後のHalf-Cheetahでの平均報酬が5052に達した。
• Antでは4727の平均報酬を達成し、IPG（3943）とQ-Prop（3374）を上回り、複雑な運動タスクにおける強力な性能を示した。
• 固定のハイパーパrameterで、すべてのMuJoCo環境において一貫したパフォーマンスを維持しており、優れた一般化性能を示している。
• オンポリシー手法に比べてサンプル複雑性を低減しながら、標準的なオフポリシー手法の不安定性を回避した。
• ESSを動的制御メカニズムとして用いることで、クリッピングと正則化のハイパーパラメータの手動チューニングの必要がなくなった。