[論文レビュー] Revisiting Design Choices in Proximal Policy Optimization

Chloe Hsu, Celestine Mendler-Dünner+1 more|arXiv (Cornell University)|Sep 23, 2020

Reinforcement Learning in Robotics参考文献 26被引用数 13

ひとこと要約

この論文は、プロキシマル・ポリシー最適化（PPO）の基本的設計選択を再考し、クリッピング目的関数とガウス分布／ソフトマックス政策を用いた標準実装における3つの失敗モードを特定する。連続的アクションのためのベータ分布パラメータ化とKL正則化目的関数を提案し、ロバスト性を向上させ、Humanoid-v2で2倍の累積報酬を達成し、分布外設定でも良好な収束性を示す。

ABSTRACT

Proximal Policy Optimization (PPO) is a popular deep policy gradient algorithm. In standard implementations, PPO regularizes policy updates with clipped probability ratios, and parameterizes policies with either continuous Gaussian distributions or discrete Softmax distributions. These design choices are widely accepted, and motivated by empirical performance comparisons on MuJoCo and Atari benchmarks. We revisit these practices outside the regime of current benchmarks, and expose three failure modes of standard PPO. We explain why standard design choices are problematic in these cases, and show that alternative choices of surrogate objectives and policy parameterizations can prevent the failure modes. We hope that our work serves as a reminder that many algorithmic design choices in reinforcement learning are tied to specific simulation environments. We should not implicitly accept these choices as a standard part of a more general algorithm.

研究の動機と目的

• 広く採用されているPPOの設計選択—クリッピング surrogate 目的関数とガウス分布／ソフトマックス政策パラメータ化—が分布外環境でなぜ失敗するかを調査すること。
• 標準的なMuJoCoやAtariベンチマークでは露呈されない、連続的および離散的アクション空間における特定の失敗モードを診断すること。
• KL正則化目的関数とベータ政策パラメータ化を含む代替設計選択の評価を通じて、収束性とロバスト性の向上を図ること。
• 現在のPPO実装が一般用途ソリューションを表しているという仮定に疑問を呈し、強化学習における文脈に応じたアルゴリズム設計を提唱すること。

提案手法

• PPOにおける失敗モードを隔離するための合成テスト環境を設計：有界なサポート外での報酬の消失、局所最適点付近での初期化への感受性、スパarsな報酬を持つ離散的設定での最適でない収束。
• 信頼領域制約をより根本的に満たすために、標準的なクリッピング surrogate 目的関数をKL正則化目的関数に置き換え、特定の設定で理論的収束保証を可能にする。
• 連続的アクション空間における政策パラメータ化にベータ分布を採用し、その有界なサポートとα=β=1による均一な初期化可能性を活用する。
• ベータ分布のパラメータ（α, β）に対してソフトプラスパラメータ化を実装し、勾配ベース最適化と安定した学習を可能にする。
• 合成タスクおよび標準的なMuJoCoベンチマーク上で、ベータ政策とKL正則化目的関数を用いたPPOと、標準PPO（クリッピング、ガウス分布）のパフォーマンスを比較する。
• 報酬正規化や報酬スケーリングなどの追加実装選択の影響を分析し、複雑な手法に代わって定数スケーリングでも性能に損失がないことを示す。

実験結果

リサーチクエスチョン

• RQ1 報酬がアクション空間の境界外で消失する連続的アクション空間において、クリッピング目的関数とガウス政策を用いた標準PPOがなぜ収束しないのか？
• RQ2 スパースで高報酬ピークを持つ離散的アクション空間において、政策初期化が収束に与える影響は何か？これは代替パラメータ化によって緩和可能か？
• RQ3 KL正則化 surrogate 目的関数は、標準ベンチマークを越えて収束安定性とロバスト性においてクリッピング目的関数を上回るか？
• RQ4 ベータ政策パラメータ化は、連続的制御タスクにおける尾部勾配と境界効果に関連する失敗モードを排除できるか？
• RQ5 報酬正規化や報酬スケーリングといった一般的な実装選択は、多様な環境におけるPPOパフォーマンスにどの程度影響を与えるか？

主な発見

• 報酬がアクション空間の境界外で消失する連続的制御タスクにおいて、クリッピング目的関数とガウス政策を用いた標準PPOは、尾部アクションからの大きな勾配更新のため収束しない。
• ベータ政策パラメータ化を用いたPPOは、MuJoCoのHumanoid-v2環境でガウス政策よりも2倍の累積報酬を達成し、顕著なパフォーマンス向上を示す。
• KL正則化PPOは、合成失敗モードの1つの設定で収束保証を達成するが、クリッピング目的関数では達成できないため、根本的なロバストネス優位性が示される。
• ベータ政策はα=β=1によるほぼ均一な初期化を可能にし、複数のピークを持つ報酬ランドスケープにおける不良初期化に起因する非最適収束を排除する。
• クリッピングの利点は、ガウス政策を用いたMuJoCoベンチマークの特定の設定に限定される。ベータ政策では、KL正則化PPOがほとんどのタスクで同等または優れた性能を発揮する。
• 定数報酬スケーリングは、複雑な適応的スキームと同等の性能を発揮し、アドバンテージ正規化は一部のタスクでは役立つが、他のタスクでは悪影響を及ぼす。これは、ミラー降下のステップサイズを効果的に緩和している。