[論文レビュー] Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

Xiangxiang Chu|arXiv (Cornell University)|Jul 2, 2018

Machine Learning and ELM参考文献 21被引用数 7

ひとこと要約

この論文は、PPOのクリッピングされた補助目的関数を、2つの方策分布間の二乗全変動発散の対称的下界であるペナルティ付き点確率距離に置き換える新しい方策最適化アルゴリズムPOP3Dを提案する。POP3Dは学習の安定化、探索の向上、49種類のAtariゲームにおける最先端のパフォーマンスを達成する。最終スコアはPPOを上回り、学習速度と実装の容易さはPPOと同等を維持する。

ABSTRACT

As the most successful variant and improvement for Trust Region Policy Optimization (TRPO), proximal policy optimization (PPO) has been widely applied across various domains with several advantages: efficient data utilization, easy implementation, and good parallelism. In this paper, a first-order gradient reinforcement learning algorithm called Policy Optimization with Penalized Point Probability Distance (POP3D), which is a lower bound to the square of total variance divergence is proposed as another powerful variant. Firstly, we talk about the shortcomings of several commonly used algorithms, by which our method is partly motivated. Secondly, we address to overcome these shortcomings by applying POP3D. Thirdly, we dive into its mechanism from the perspective of solution manifold. Finally, we make quantitative comparisons among several state-of-the-art algorithms based on common benchmarks. Simulation results show that POP3D is highly competitive compared with PPO. Besides, our code is released in https://github.com/paperwithcode/pop3d.

研究の動機と目的

• PPOのクリッピングされた補助目的関数の限界、特にハイパーパramータチューニングへの感受性と不十分な探索性能を是正する。
• TRPOの変種における固定されたペナルティ係数選択の課題を克服し、環境間での一般化を妨げる要因を排除する。
• 真の方策分布間の発散をよりよく近似する対称的かつ下界となる補助目的関数を開発する。
• 新しいペナルティ項を用いて探索を促進することで、学習の安定性を高め、サンプル効率を向上させる。
• 離散的（Atari）および連続的制御（MuJoCo）の両環境において、PPOと同等のパフォーマンスを示す。

提案手法

• 2つの方策分布間の二乗全変動発散の対称的下界であるペナルティ付き点確率距離に基づく新しい補助目的関数を提案する。
• 正則化項としてのペナルティ項を導入し、固定されたペナルティ係数を必要とせず、方策更新の安定化と探索の促進を実現する。
• 一階微分法を用いて制約なしの最適化問題として定式化し、効率的かつスケーラブルな学習を可能にする。
• PPOおよびTRPOと同様に、一般化された利得推定（GAE）を用いて価値関数の近似を高精度に実現する。
• 新しい目的関数をポリシー勾配フレームワークに適用し、期待報酬に関する確率的勾配上昇法によりポリシー・パラメータを更新する。
• PPOの実用的利点（実装の簡便さ、高速収束、優れた並列性）を維持しつつ、安定性とパフォーマンスの向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 対称的かつ下界となる補助目的関数は、PPOのクリッピング目的関数と比較して、方策最適化の安定性とパフォーマンスを向上させるか？
• RQ2 ペナルティ付き点確率距離は、手動でのペナルティ係数チューニングを必要とせず、学習の安定化と探索の促進に効果を発揮するか？
• RQ3 AtariおよびMuJoCoベンチマークにおいて、POP3DはPPOおよびTRPOと比較して最終スコアとサンプル効率の点で優れたパフォーマンスを示すか？
• RQ4 POP3DがTRPOおよびPPOを改善する背後にあるメカニズム、特に解多様体構造の観点から、どのようなものか？
• RQ5 固定されたハイパーパrameter設定で、POP3DはAtariゲームで最先端の結果を達成できるか？

主な発見

• 7つのMuJoCo環境のうち5つにおいて、$Score_{100}$ においてPOP3DはPPOを上回り、最終スコアで明確な差をつける。
• 49種類のAtariゲームにおいて、POP3Dは4000万フレーム経過後にPPOの最終スコアを上回り、$Score_{100}$ で5ゲーム分のリードを獲得する。
• MuJoCo環境においてもPOP3Dは競争力のある結果を達成し、PPOと同等の高速な学習速度とサンプル効率を維持する。
• TRPOの変種と比較して、ペナルティ係数選択への感受性が低く、環境固有のチューニングの必要がなくなる。
• 定量的評価では、POP3DがPPOで用いられる固定KLDベースラインを一貫して上回ることを示し、新規ペナルティ項の優位性を裏付ける。
• 解多様体解析により、POP3Dの目的関数は最適ポリシー多様体を暗黙的に拡張していることが判明。これはPPOの成功メカニズムと一致するが、安定性が向上している。