[論文レビュー] CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee

Tengyu Xu, Yingbin Liang+1 more|arXiv (Cornell University)|Nov 11, 2020

Reinforcement Learning in Robotics参考文献 66被引用数 22

ひとこと要約

本稿では、双対変数を用いずに、報酬の最適化と制約違反の是正を交互に最適化する安全強化学習のための新しい原手法、制約補正型方策最適化（CRPO）を提案する。CRPOは、全般的に最適な方策への収束速度がO(1/√T)であり、制約の満たし方の誤差もO(1/√T)である。これは、原手法SRLアルゴリズムにおいて、グローバル最適性保証付きの有限時間解析を初めて達成したものである。

ABSTRACT

In safe reinforcement learning (SRL) problems, an agent explores the environment to maximize an expected total reward and meanwhile avoids violation of certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an $\\mathcal{O}(1/\\sqrt{T})$ convergence rate to the global optimal policy in the constrained policy set and an $\\mathcal{O}(1/\\sqrt{T})$ error bound on constraint satisfaction. This is the first finite-time analysis of primal SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

研究の動機と目的

• 原手法型安全強化学習（SRL）アルゴリズムにおける、証明可能なグローバル収束性の欠如に対処すること。
• 特に双対変数の学習率や初期化に敏感なハイパーパramータの問題を回避する手法の開発。
• 原手法SRLアルゴリズムにおけるグローバル最適性保証付きの有限時間収束速度の確立。
• 原手法が、既存の原手法・双対手法SRL手法を上回る性能を達成できることの実証。

提案手法

• CRPOは、報酬目的の制約なし方策最適化と、違反している制約のための制約なし方策最小化を交互に実行する。
• 両方の目的の最大化と制約是正の両方で、自然方策勾配（NPG）更新を用い、双対変数の更新を回避する。
• アルゴリズムは、射影閾値ではなく、方策勾配ステップのみを通じて、実行可能性を維持する。
• 2段階の更新を採用する：まず報酬のための方策を改善し、次に制約違反が生じた場合、直ちに制約関数を最小化することで是正する。
• 双対変数を完全に回避することで、原手法・双対手法と比較して、実装の複雑さとハイパーパramータチューニングが軽減される。
• 理論的分析は、KLダイバージェンスの境界と集中不等式に依拠し、有限時間収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 双対変数を一切用いずに、最適な実行可能方策へのグローバル収束を達成できる原手法SRLアルゴリズムは存在するか？
• RQ2 原手法SRLアルゴリズムの、グローバルに最適な方策への有限時間収束速度は何か？
• RQ3 原手法が、既存の原手法・双対手法SRLベースラインを実際の応用で上回ることができるか？
• RQ4 双対変数の欠如が、より高いロバストネスとハイパーパramータチューニングの削減をもたらすか？
• RQ5 提案された原手法フレームワークにおいて、制約違反と報酬最大化のトレードオフは何か？

主な発見

• CRPOは、制約付き方策集合内でのグローバルに最適な方策への収束速度がO(1/√T)である。
• アルゴリズムは、制約の満たし方の誤差がO(1/√T)であることを保証しており、制約違反がこのレートで減少することを意味する。
• 収束速度は有限時間解析に基づき、原手法SRLアルゴリズムにおいて初のそのような結果である。
• 実験的結果から、CRPOは既存の原手法・双対手法ベースラインアルゴリズムを著しく上回る性能を示している。
• アルゴリズムは双対変数のチューニングを回避し、実行可能初期化も不要であるため、実装が簡素化される。
• 理論的分析により、関数近似誤差が存在しても、アルゴリズムが実行可能性と収束性を維持することが確認された。