[論文レビュー] Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments

Yixuan Wang, Simon Sinong Zhan+7 more|arXiv (Cornell University)|Sep 29, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、生成モデルに基づくソフトバリア関数を用いて、未知の確率的環境において硬い安全性確率制約を強制する、新しい安全強化学習フレームワークを提案する。バイレベル最適化問題を定式化し、環境の動的特性、ソフトバリア関数、制御方策を同時に学習することで、軌道に沿った安全性確率制約を直接符号する。シミュレーションにおいて、CMDPベースのベースラインと比較して著しく高いシステムの安全率を達成する。

ABSTRACT

It is quite challenging to ensure the safety of reinforcement learning (RL) agents in an unknown and stochastic environment under hard constraints that require the system state not to reach certain specified unsafe regions. Many popular safe RL methods such as those based on the Constrained Markov Decision Process (CMDP) paradigm formulate safety violations in a cost function and try to constrain the expectation of cumulative cost under a threshold. However, it is often difficult to effectively capture and enforce hard reachability-based safety constraints indirectly with such constraints on safety violation costs. In this work, we leverage the notion of barrier function to explicitly encode the hard safety constraints, and given that the environment is unknown, relax them to our design of \emph{generative-model-based soft barrier functions}. Based on such soft barriers, we propose a safe RL approach that can jointly learn the environment and optimize the control policy, while effectively avoiding unsafe regions with safety probability optimization. Experiments on a set of examples demonstrate that our approach can effectively enforce hard safety constraints and significantly outperform CMDP-based baseline methods in system safe rate measured via simulations.

研究の動機と目的

• 安全が、いかなる軌道上の点に対しても、安全でない領域に状態軌道が進入する確率を制限することとして定義される、未知の確率的環境において、到達可能性に基づく硬い安全性制約を強制する課題に対処すること。
• 累積コスト期待値を通じて安全性を間接的に制約するCMDPベースの手法の限界を克服し、軌道ごとの安全性確率を保証できないこと。
• 環境の動的特性、安全性ガイドラインのためのソフトバリア関数、最適制御方策を同時に学習する微分可能でエンドツーエンドのフレームワークを構築すること。
• CMDPベースの手法が提供できない、実用的な安全性確率の下限を提供しながら、安全な方策学習の高い性能を維持すること。

提案手法

• 本手法は、方策、ソフトバリア関数、環境の確率的ダイナミクスの生成モデルを同時に最適化するバイレベル最適化問題を定式化する。
• 生成モデルは、環境-方策クローズドループ系からの軌道データを用いて学習され、未知のダイナミクスとノイズを捉えるために確率的微分方程式（SDE）として表現される。
• ソフトバリア関数は、システムの状態を安全性確率へマップするように学習され、初期状態領域では値が0に近く、安全でない領域では1に近く、安全な軌道伝播を保証する。
• ソフトバリア関数は、合成軌道に沿った期待バリア値を最小化する微分可能な目的関数を介して最適化され、安全性確率制約を直接符号する。
• 方策最適化は、学習済み生成モデルから生成された合成軌道上で割引累積報酬を最大化することで、安全で高報酬の学習方策を可能にする。
• このフレームワークは完全に微分可能であり、勾配ベース最適化により訓練され、ダイナミクス、安全性、制御の統合的エンドツーエンド学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 初期状態領域ではバリア関数の値が0に近く、安全でない領域では1に近く、実際の軌道と合成軌道で一貫性がある。
• RQ2 環境の確率的ダイナミクスの生成モデルを用いて、微分可能なソフトバリア関数を学習し、安全な方策学習をガイドする方法は何か？
• RQ3 生成モデル、ソフトバリア関数、方策の共同最適化は、累積コスト制約を間接的に用いるCMDPベースの手法よりも、高いシステム安全率を達成できるか？
• RQ4 提案手法は、標準のCMDP定式化では達成できない、安全性確率の実用的な下限を提供できるか？

主な発見

• 提案手法は、2次元ナビゲーション、カートポールバランス、UAVの操縦、ロケット着陸を含む、すべての評価環境でCMDPベースのベースラインと比較して著しく高いシステム安全率を達成した。
• 1例あたり500回のシミュレーションを実施した結果、PPO-LおよびFOCOPSを上回るシステム安全率を示し、特にUAVおよびロケット着陸タスクで最高の安全率を記録した。
• CMDPベースのアプローチが累積コスト期待値のみを制約するのに対し、本手法は安全性確率の実用的な下限を提供している。
• 学習済みソフトバリア関数は初期状態を0に近く、安全でない状態を1に近くマップし、実際の軌道と合成軌道で一貫性のある値を示しており、生成モデルの学習が正確であることを示している。
• 生成モデルは、実環境と合成環境におけるバリア関数値と制御軌道が類似していることから、実環境のダイナミクスをよく再現していることが示された。
• 高い安全率を達成している一方で、本手法は顕著な計算コストを要する。カートポールでは約8時間、UAVおよびロケット着陸タスクでは最大1日程度の訓練時間を要しており、計算上の制限を示している。