[論文レビュー] Truly Proximal Policy Optimization

Yuhui Wang, Hao He+2 more|arXiv (Cornell University)|Mar 19, 2019

Reinforcement Learning in Robotics参考文献 25被引用数 32

ひとこと要約

この論文はPPOの近接特性を分析し、尤度比を厳密に制限せず、真のトラスト領域を強制していないことを示し、 rollbackを用いた Truly PPO と、トラスト領域ベースのクリッピングを導入して単調な改善を保証し、サンプル効率を向上させる。

ABSTRACT

Proximal policy optimization (PPO) is one of the most successful deep reinforcement-learning methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, its optimization behavior is still far from being fully understood. In this paper, we show that PPO could neither strictly restrict the likelihood ratio as it attempts to do nor enforce a well-defined trust region constraint, which means that it may still suffer from the risk of performance instability. To address this issue, we present an enhanced PPO method, named Truly PPO. Two critical improvements are made in our method: 1) it adopts a new clipping function to support a rollback behavior to restrict the difference between the new policy and the old one; 2) the triggering condition for clipping is replaced with a trust region-based one, such that optimizing the resulted surrogate objective function provides guaranteed monotonic improvement of the ultimate policy performance. It seems, by adhering more truly to making the algorithm proximal - confining the policy within the trust region, the new algorithm improves the original PPO on both sample efficiency and performance.

研究の動機と目的

• PPOが厳密に尤度比を制限し、トラスト領域の制約を強制しているかを評価する。
• PPOの近接特性を調べ、クリッピングとトラスト領域理論とのギャップを特定する。
• 真の近接挙動と単調な方策改善を保証するPPOの強化を提案する。

提案手法

• クリッピング範囲の外側へポリシーを押し出す誘引に対抗するため、ロールバック操作を導入する。
• クリッピングのトリガーをKL発散を制限するトラスト領域ベースの条件に置換する。
• ロールバック機構とトラスト領域ベースのクリッピングを組み合わせて、1階最適化を用いるTruly PPOを形成する。
• トラスト領域外に出た場合にKLベースのペナルティを引く新しい目的関数を定義し、単調な改善を促進する。
• Truly PPOの単調改善の理論的保証を提供する。
• ベンチマークタスクで経験的評価を行い、ポリシーの性能とサンプル効率を比較する。

実験結果

リサーチクエスチョン

• RQ1 PPOはクリッピング範囲内で尤度比を厳密に制限しているか？
• RQ2 PPOはTRPOのような明確なトラスト領域制約を強制できるか？
• RQ3 最適化が容易なまま、真の近接挙動と単調な改善を達成するPPOの派生形を設計できるか？
• RQ4 ロールバックとトラスト領域ベースのクリッピングがサンプル効率と性能にもたらす利点は何か？
• RQ5 理論と実践の両面でTruly PPOはTRPOとPPOとどう比較されるか？

主な発見

• PPOは実践ではクリッピング範囲内で尤度比を厳密に制限していない。
• PPOは真のトラスト領域制約を強制していないことが、クリッピング下でKL発散が制限されないことから示される。
• ロールバック操作とトラスト領域ベースのクリッピング機構を導入することで、単調改善保証を持つTruly PPOを得られる。
• Truly PPOの目的関数はトラスト領域の外でKL発散をペナルティとして課す、近接更新を促進する。
• この組み合わせはベンチマークタスクでポリシーの性能とサンプル効率を向上させる。
• 著者によって実装コードが提供されている。