[論文レビュー] Trust Region-Guided Proximal Policy Optimization

Yuhui Wang, Hao He+2 more|arXiv (Cornell University)|Jan 29, 2019

Reinforcement Learning in Robotics参考文献 2被引用数 26

ひとこと要約

本稿では、信頼領域基準を用いて信頼領域内でクリッピング範囲を動的に調整するTrust Region-Guided Proximal Policy Optimization (TRGPPO)を提案する。より好ましくない行動に対する制約を緩和することで、TRGPPOは探索性とサンプル効率を向上させ、標準PPOよりも優れた性能境界と高い方策エントロピーを達成し、計算コストの増加を最小限に抑え、ベンチマークタスクにおいて強力な実証的結果を示す。

ABSTRACT

Proximal policy optimization (PPO) is one of the most popular deep reinforcement learning (RL) methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, as a model-free RL method, the success of PPO relies heavily on the effectiveness of its exploratory policy search. In this paper, we give an in-depth analysis on the exploration behavior of PPO, and show that PPO is prone to suffer from the risk of lack of exploration especially under the case of bad initialization, which may lead to the failure of training or being trapped in bad local optima. To address these issues, we proposed a novel policy optimization method, named Trust Region-Guided PPO (TRGPPO), which adaptively adjusts the clipping range within the trust region. We formally show that this method not only improves the exploration ability within the trust region but enjoys a better performance bound compared to the original PPO as well. Extensive experiments verify the advantage of the proposed method.

研究の動機と目的

• 標準PPOの限られた探索能力、特に初期化が悪い場合の局所最適解への陥落や学習失敗の問題を解決すること。
• PPOにおける比ベースの方策制約が探索行動に与える影響を形式的に分析し、時間経過とともにあり得ない行動の抑制が生じる傾向を明らかにすること。
• 信頼領域ガイドドの適応的クリッピングを用いて、訓練の安定性を保ちながら探索性を向上させる新しいPPO変種を開発すること。
• 計算コストを増加させることなく、元のPPOと比較してサンプル効率と性能境界を向上させること。
• 既存のオンポリシー強化探索手法に対する理論的根拠があり、解釈可能で柔軟な代替手法を提供すること。

提案手法

• TRGPPOは、固定されたハイパーパrameterではなく信頼領域基準に基づいて動的にクリッピング範囲を調整する信頼領域ガイドドの適応的クリッピングメカニズムを導入する。
• PPOの比ベースの指標と信頼領域ベースの発散指標の間に接続を構築し、より柔軟な制約の実装を可能にする。
• 現在の方策が好ましくない行動に対して制約を緩和することで、過去の好ましさに関係なく、価値のある行動の探索を促進する。
• クリッピング範囲を信頼領域内に保つことで、訓練の安定性を維持し、性能の低下を回避する。
• ε=0.2（標準PPOと同一）を前提として、δ（信頼領域係数）をεに基づいて適応的に設定する戦略を採用し、ハイパーパrameterの使用の一貫性を確保する。
• TRGPPOはOpenAI Baselines経由でPPOと同一の実装およびハイパーパrameterを採用しており、クリッピングメカニズムのみが異なり、公平な比較が可能である。

実験結果

リサーチクエスチョン

• RQ1 PPOにおける比ベースの方策制約は、初期化が悪い状況下で探索行動にどのように影響を与えるか？
• RQ2 信頼領域ガイドドの適応的クリッピングメカニズムは、訓練の安定性を損なわず、探索性を向上させることができるか？
• RQ3 提案手法は、標準PPOと比較して、より優れた性能境界とサンプル効率を達成できるか？
• RQ4 TRGPPOの適応的クリッピング範囲は、固定またはヒューリスティックなクリッピング範囲と比較して、方策エントロピーと学習ダイナミクスの観点でどのように異なるか？
• RQ5 TRGPPOは、計算コスト効率が良く、オンポリシーのまま、SACなどの最先端のオフポリシー手法を上回ることができるか？

主な発見

• TRGPPOは、テスト環境の5つ中4つにおいて、PPOと比較して性能閾値に到達するまでのタイムステップ数を約40％削減した。特にAntとWalker2dで最大の改善を示した。
• ほとんどのタスクにおいて、最後の40％の訓練エピソードでTRGPPOはPPOよりも顕著に高い平均報酬を達成したが、Reacherを除くすべてのタスクでPPOを上回った。
• TRGPPOの方策エントロピーは、PPOと比較して一貫して高く維持されており、訓練全体を通して持続的な探索行動が確認された。
• TRGPPOの適応的上界クリッピング範囲は、PPOの固定クリッピング範囲よりも顕著に広がっているが、KL発散は同等に保たれており、探索性と安定性の効果的なバランスを示している。
• TRGPPOは、オンポリシーのアルゴリズムでありながら、同じハイパーパラメータを用いて6つのタスクのうち5つでSACと同等の性能を達成した。一方、SACは182分の壁時計時間が必要だったのに対し、TRGPPOは25分で完了した。
• TRGPPOはPPOと比較して計算コストの顕著な増加を示さず、100万ステップの訓練時間でPPOの24分と比較して25分の訓練時間を要した。