[論文レビュー] A Lyapunov-based Approach to Safe Reinforcement Learning

Yinlam Chow, Ofir Nachum+2 more|arXiv (Cornell University)|May 20, 2018

Reinforcement Learning in Robotics参考文献 28被引用数 78

ひとこと要約

この論文は安全な強化学習を制約付きMDPとして定式化し、Lyapunovベースのフレームワークを導入して性能を最適化しつつ安全性を保証する。Safe DPとRLアルゴリズムにはSPI、SVI、Safe DQN、Safe DPIを含む。

ABSTRACT

In many real-world reinforcement learning (RL) problems, besides optimizing the main objective function, an agent must concurrently avoid violating a number of constraints. In particular, besides optimizing performance it is crucial to guarantee the safety of an agent during training as well as deployment (e.g. a robot should avoid taking actions - exploratory or not - which irrevocably harm its hardware). To incorporate safety in RL, we derive algorithms under the framework of constrained Markov decision problems (CMDPs), an extension of the standard Markov decision problems (MDPs) augmented with constraints on expected cumulative costs. Our approach hinges on a novel \emph{Lyapunov} method. We define and present a method for constructing Lyapunov functions, which provide an effective way to guarantee the global safety of a behavior policy during training via a set of local, linear constraints. Leveraging these theoretical underpinnings, we show how to use the Lyapunov approach to systematically transform dynamic programming (DP) and RL algorithms into their safe counterparts. To illustrate their effectiveness, we evaluate these algorithms in several CMDP planning and decision-making tasks on a safety benchmark domain. Our results show that our proposed method significantly outperforms existing baselines in balancing constraint satisfaction and performance.

研究の動機と目的

• 累積コストの制約を伴うCMDPとしてモデルの安全性を定義する。
• トレーニングおよび展開時の安全性を保証するLyapunov関数ベースの手法を開発する。
• Lyapunov制約を介してDPおよびRLアルゴリズムを安全な counterpartsへ変換する。
• 未知モデルや大規模な状態-行動空間に適用可能なスケーラブルな安全アルゴリズムを提供する。
• 計画とRLタスクの安全性と性能のバランスを経験的に改善することを示す。

提案手法

• 累積制約コストと安全性制約の下でコストを最小化することを目的としたCMDPを定義する。
• 基準フレームワークに安全性と適合性を証明するLyapunov関数Lを導入する。
• ベースライン方針と方針の偏差の境界を用いたLPベースのLyapunov関数の構築を提案する。
• ブootストラップされたLyapunov更新を用いた安全なDPアルゴリズム（Safe Policy Iteration、Safe Value Iteration）を導出する。
• 関数近似とポリシー蒸留により、安全なRL手法（Safe DQN、Safe DPI）をスケーラブルに開発する。
• 技術的仮定1の下でLyapunovの実現可能性とCMDP最適性を結びつける理論的結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 Lyapunovベースの手法は学習中および実行時のCMDPの安全性を保証できるか。
• RQ2 Lyapunovにより誘導されたポリシー集合が最適なCMDPポリシーを含む条件は何か。
• RQ3 DP/RLを安全な版へ変換し、実現性を維持しつつコストを改善するにはどうすればよいか。

主な発見

• Lyapunovアプローチは仮定1の下で最適なポリシーを含む実現可能なポリシー集合をもたらす。
• LP由来のLyapunov関数を用いたSafe Bellman演算子は理論的にCMDP最適解への収束を導く。
• SPIとSVIは計画実験で一貫した実現可能性と単調な改善を示す。
• Safe RLアルゴリズム（Safe DQN、Safe DPI）は安全性と性能のバランスを取り、大規模空間にも適用可能である。
• 経験的結果は安全なDP手法が安全性制約付きの計画およびRLタスクでベースラインより優れていることを示す。
• 学習中のLyapunov関数のブートストラップにより反復を通じて安全性を維持する。