[論文レビュー] A Primal Approach to Constrained Policy Optimization: Global Optimality and Finite-Time Analysis

Tengyu Xu, Yingbin Liang+1 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 61被引用数 14

ひとこと要約

本稿では、安全強化学習（SRL）のための原系的アプローチとして、制約を正しく修正する方策最適化（CRPO）を提案する。CRPOは、方策目的関数の改善と制約の強制を交互に繰り返す。自然方策勾配更新を用いることで、制約付き集合内でのグローバル最適方策へのO(1/T)収束と、O(1/T)の制約違反誤差を達成する。これは、非凸な目的関数と制約のもとで、SRLにおけるグローバル最適性保証付きの有限時間解析を初めて達成した。

ABSTRACT

Safe reinforcement learning (SRL) problems are typically modeled as constrained Markov Decision Process (CMDP), in which an agent explores the environment to maximize the expected total reward and meanwhile avoids violating certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an O(1/T) convergence rate to the global optimal policy in the constrained policy set and an O(1/T) error bound on constraint satisfaction. This is the first finite-time analysis of SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

研究の動機と目的

• 非凸な目的関数と制約のもとで、安全強化学習（SRL）におけるグローバル最適性を達成する課題に対処すること。
• 既存の多くのSRL手法とは異なり、双対変数の更新に依存しない原系的アルゴリズムフレームワークを構築すること。
• 制約付きMDPとしてモデル化されたSRL問題に対して、グローバル最適性保証付きの有限時間収束解析を提供すること。
• 提案手法が、既存の原系-双対SRLベースラインよりも安全性と性能で優れていることを実験的に検証すること。

提案手法

• CRPOは、交互に更新するスキームを採用する：まず方策目的関数を改善し、次に制約を満たすように修正する。
• 各々の方策更新ステップでは、安定的かつ効率的な方策改善を保証するため、自然方策勾配（NPG）を用いる。
• 各目的関数更新後に、期待されるコスト制約を満たすために、方策を射影または修正することで、制約付き方策集合を維持する。
• 双対変数の推定を避けることで、原系空間での直接的な制約強制を実現し、実装と解析の両方を簡素化する。
• 理論的解析では、制約付きMDPの構造とNPGの性質を活用して、有限時間収束レートを導出する。
• このフレームワークは汎用的であり、NPG以外の任意の方策最適化変種との統合が可能であるが、理論的解析にはNPGを用いる。

実験結果

リサーチクエスチョン

• RQ1 非凸な目的関数と制約のもとで、原系的アプローチが制約付き方策最適化におけるグローバル最適性を達成できるか？
• RQ2 原系的SRLアルゴリズムが、制約付き集合内でのグローバル最適方策へ有限時間収束するレートは何か？
• RQ3 このような原系的手法は、定量可能なレートで制約違反を有界に保てるか？
• RQ4 実際の応用において、原系的アプローチは既存の原系-双対SRLアルゴリズムと比較してどのように性能を発揮するか？
• RQ5 双対変数の更新に依存せずに、SRLで有限時間保証付きのグローバル最適性を達成することは可能か？

主な発見

• CRPOは、反復回数Tを用いて、制約付き方策集合内でのグローバル最適方策へのO(1/T)収束率を達成する。
• アルゴリズムは、制約満たしの誤差にO(1/T)のバウンドを保証しており、制約違反が定量可能なレートで減少することを意味する。
• これは、グローバル最適性保証付きの有限時間解析を初めて達成した安全強化学習アルゴリズムである。
• 実験的評価では、CRPOが、サンプル効率と制約遵守の両面で、既存の原系-双対SRLベースラインを顕著に上回ることが示された。
• 目的関数と制約の交互更新による原系的アプローチは、実効的かつ理論的に妥当であり、双対ベース手法の代替案として実用的である。
• CRPO内での自然方策勾配の使用により、安定的かつ効率的な方策更新が実現され、理論的収束レートの達成が可能になった。