[論文レビュー] Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach

Subin Huh, Insoon Yang|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 18被引用数 24

ひとこと要約

本稿では、リャプノフ基盤の安全制約と確率的到達可能性解析を統合することで、確率的安定性を保証するモデルフリー強化学習フレームワークを提案する。価値関数に基づくリャプノフ関数を用いて安全な方策の逐次的改善を実現し、安全な探索と最大安全集合への収束を可能にする。高次元制御タスクへの適用のため、ラグランジュ緩和を用いて深層強化学習へ拡張する。

ABSTRACT

Emerging applications in robotics and autonomous systems, such as autonomous driving and robotic surgery, often involve critical safety constraints that must be satisfied even when information about system models is limited. In this regard, we propose a model-free safety specification method that learns the maximal probability of safe operation by carefully combining probabilistic reachability analysis and safe reinforcement learning (RL). Our approach constructs a Lyapunov function with respect to a safe policy to restrain each policy improvement stage. As a result, it yields a sequence of safe policies that determine the range of safe operation, called the safe set, which monotonically expands and gradually converges. We also develop an efficient safe exploration scheme that accelerates the process of identifying the safety of unexamined states. Exploiting the Lyapunov shielding, our method regulates the exploratory policy to avoid dangerous states with high confidence. To handle high-dimensional systems, we further extend our approach to deep RL by introducing a Lagrangian relaxation technique to establish a tractable actor-critic algorithm. The empirical performance of our method is demonstrated through continuous control benchmark problems, such as a reaching task on a planar robot arm.

研究の動機と目的

• システムの動的特性に関する事前知識を必要とせずに、確率的システムにおける安全性を保証するモデルフリー強化学習手法の開発。
• 方策改善および評価段階にリャプノフ制約を埋め込むことで、学習全期間にわたり安全性を保証すること。
• 最小安全な方策を優先して探索する戦略を採用することで、安全集合の効率的かつ迅速な拡大・精錬を実現し、安全な探索を加速すること。
• ラグランジュ緩和を用いて深層強化学習に統合することで、高次元システムへのスケーリングを可能とすること。
• 連続制御ベンチマーク上での実験的検証を通じて、安全性とサンプル効率の向上を示すこと。

提案手法

• 価値関数に基づくリャプノフ関数を用いて、方策改善段階で安全制約を強制し、各更新後の方策が安全領域内に留まるように保証する。
• ベルマン再帰を用いて、リャプノフ関数を通じて不確実状態への到達確率の境界を維持し、安全でない状態への到達確率を制限する。
• 最小安全な方策を選択する安全な探索スキームを導入し、状態空間の不確実性や高リスク領域における探索を優先する。
• リャプノフ制約を正則化項に変換するためラグランジュ緩和を適用し、標準的な深層アクタークリティックアルゴリズムへの統合を可能にする。
• 安全集合を、安全でない状態への到達確率を最大化する状態領域として、単調に拡大する形で構築する。
• 特定のアーキテクチャ（例：2層のReLU活性化関数を備えた隠れ層）と、経験再生およびオーランシュタイン＝ウーレンのノイズを用いた学習技術を用いて、深層ニューラルネットワークで実装する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習手法は、システムの動的特性に関する事前知識がなくても、学習全期間にわたり安全性を保証できるか？
• RQ2 リャプノフ関数を用いることで、確率的システムにおける不安全状態への到達確率をどのように制限できるか？
• RQ3 どのような探索戦略が、安全性を維持しつつ安全集合の拡大を効率的に行えるか？
• RQ4 リャプノフ制約を高次元制御タスクに効果的に統合するにはどうすればよいか？
• RQ5 提案手法は最大安全集合に収束するか？また、サンプル効率および安全性の面でベースライン手法を上回るか？

主な発見

• 提案手法は、各々の方策改善ステップでリャプノフ制約を強制することで、学習全期間にわたり安全性を保証し、不安全状態への到達を防ぐ。
• 近似誤差が存在しないという仮定の下で、安全集合は単調に拡大し、最大安全集合に収束する。
• 最小安全な方策をターゲットとする安全な探索スキームにより、安全領域の特定と精錬が迅速に進行し、サンプル効率が向上する。
• ラグランジュ緩和を用いた深層強化学習実装により、リャプノフ基盤の手法は、Reacher環境を含む高次元連続制御タスクへも効果的にスケーリング可能である。
• Reacherおよび積分器環境における実験結果から、本手法は安全性および収束速度の面でベースライン手法を上回ることが示された。
• 不確実環境においても、リャプノフシールドが危険な状態への探索を効果的に防ぎ、高い安全性の信頼性を維持している。