[論文レビュー] Provably Efficient Safe Exploration via Primal-Dual Policy Optimization

Dong-Sheng Ding, Xiaohan Wei+3 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 62被引用数 35

ひとこと要約

本論文は OPDOP を提案する。これは constrained CMDP に対する楽観的 primal-dual proximal policy optimization アルゴリズムで、線形関数近似を用い、バンディットフィードバック下でサブ線形の後悔と制約違反を達成する。機能近似設定における安全探索の保証を伴う CMDP のオンラインポリシー最適化の最初の理論的に効率的な保証を提供する。

ABSTRACT

We study the Safe Reinforcement Learning (SRL) problem using the Constrained Markov Decision Process (CMDP) formulation in which an agent aims to maximize the expected total reward subject to a safety constraint on the expected total value of a utility function. We focus on an episodic setting with the function approximation where the Markov transition kernels have a linear structure but do not impose any additional assumptions on the sampling model. Designing SRL algorithms with provable computational and statistical efficiency is particularly challenging under this setting because of the need to incorporate both the safety constraint and the function approximation into the fundamental exploitation/exploration tradeoff. To this end, we present an \underline{O}ptimistic \underline{P}rimal-\underline{D}ual Proximal Policy \underline{OP}timization (OPDOP) algorithm where the value function is estimated by combining the least-squares policy evaluation and an additional bonus term for safe exploration. We prove that the proposed algorithm achieves an $ ilde{O}(d H^{2.5}\sqrt{T})$ regret and an $ ilde{O}(d H^{2.5}\sqrt{T})$ constraint violation, where $d$ is the dimension of the feature mapping, $H$ is the horizon of each episode, and $T$ is the total number of steps. These bounds hold when the reward/utility functions are fixed but the feedback after each episode is bandit. Our bounds depend on the capacity of the state-action space only through the dimension of the feature mapping and thus our results hold even when the number of states goes to infinity. To the best of our knowledge, we provide the first provably efficient online policy optimization algorithm for CMDP with safe exploration in the function approximation setting.

研究の動機と目的

• 制約と未知の遷移を含む CMDP をエピソード設定で動機付けながら安全強化学習（SRL）を促進する。
• ストリーミングされたバンディットフィードバックから学習しつつ、安全性制約を扱えるオンラインでサンプル効率の良いアルゴリズムを開発する。
• 過去の最良ポリシーに対する後悔と制約違反のサブ線形性という理論的保証を提供する。
• 特徴次元に依存し、状態空間のサイズに依存しない境界を示すことで、無限大または非常に大きな状態空間に適用可能性を示す。

提案手法

• OPDOP: 3 つのエピソードごとの段階を持つ楽観的 primal-dual proximal policy optimization アルゴリズムを提案する。ポリシー改善、dual 更新、ポリシー評価。
• dual 変数 Y を用いた LM-like Lagrangian を使い、状態ごとに分離可能なミラー降下スタイル更新を介してポリシー改善を行い、KL-divergence 正規化項を組み込む。
• 価値関数推定に Upper Confidence Bound (UCB) ボーナスを取り入れ、Least-Squares Temporal Difference (LSTD) スタイルの更新を通じて楽観性を導入する。
• 線形関数近似で報酬 r と効用 g を推定し、Q および V 関数を UCB ボーナスと共に計算して探索を誘導する。
• 長期的な実現可能性を保証するため、報酬最大化と制約達成のバランスをとるよう Y の局所投影付き勾配更新で更新する。
• LSTD (Algorithm 2) を用いて (P_h V_{…,h+1}) 項を推定し、線形 MDP 設定で遷移と報酬を表す特徴写像 psi と phi を用いる。

実験結果

リサーチクエスチョン

• RQ1 未知の遷移を伴う CMDP を関数近似の下でオンラインのポリシー最適化アルゴリズムとして設計できるか？
• RQ2 線形構造を持つエピソード CMDP をバンディットフィードバックで学習する際の後悔と制約違反の境界はどうなるか？
• RQ3 安全制約関数が未知で相互作用によってのみ開示される場合、どのように安全探索を実現できるか？
• RQ4 特徴次元 d、ホライズン H、総ステップ数 T に対して境界はどのようにスケールし、無限状態空間でも有効か？
• RQ5 楽観的な primal-dual mirror-descent アプローチは、制約付き強化学習設定でオラクルソルバなしで実証可能な保証をもたらすか？

主な発見

• OPDOP はバンディットフィードバック下でサブ線形の後悔とサブ線形の制約違反を達成する。両方とも Õ(d H^{2.5} sqrt(T)) にスケールする。
• 境界は（潜在的に無限の）状態空間ではなく特徴次元 d に依存するため、大規模または無限の状態空間に適用可能性がある。
• 機能近似設定における安全探索を含む CMDP に対する初の理論的に効率的なオンラインポリシー最適化の成果。
• アルゴリズムは最小二乗ポリシー評価を安全探索ボーナスとオンラインの primal-dual mirror-descent 更新と組み合わせている。
• Dual 更新は報酬最大化と制約達成のバランスを取り、期待内での実現可能性とエピソード間のサブ線形な違反を保証する。