[論文レビュー] Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning

Haitong Ma, Changliu Liu+3 more|arXiv (Cornell University)|Nov 15, 2021

Cardiac electrophysiology and arrhythmias被引用数 6

ひとこと要約

本稿では、力学系の事前知識や有効な安全証明書がなくても、安全証明書と安全制御方策を同時に合成する新しい制約付き強化学習（CRL）フレームワークを提案する。エネルギーの増加を最小化する損失関数を定式化し、ラグランジュベースのCRLにおける外側ループに統合することで、局所最適な安全方策および有効な安全証明書に収束し、ベンチマーク環境において制約違反がゼロとなることを実証した。

ABSTRACT

Safety is the major consideration in controlling complex dynamical systems using reinforcement learning (RL), where the safety certificate can provide provable safety guarantee. A valid safety certificate is an energy function indicating that safe states are with low energy, and there exists a corresponding safe control policy that allows the energy function to always dissipate. The safety certificate and the safe control policy are closely related to each other and both challenging to synthesize. Therefore, existing learning-based studies treat either of them as prior knowledge to learn the other, which limits their applicability with general unknown dynamics. This paper proposes a novel approach that simultaneously synthesizes the energy-function-based safety certificate and learns the safe control policy with CRL. We do not rely on prior knowledge about either an available model-based controller or a perfect safety certificate. In particular, we formulate a loss function to optimize the safety certificate parameters by minimizing the occurrence of energy increases. By adding this optimization procedure as an outer loop to the Lagrangian-based constrained reinforcement learning (CRL), we jointly update the policy and safety certificate parameters and prove that they will converge to their respective local optima, the optimal safe policy and a valid safety certificate. We evaluate our algorithms on multiple safety-critical benchmark environments. The results show that the proposed algorithm learns provably safe policies with no constraint violation. The validity or feasibility of synthesized safety certificate is also verified numerically.

研究の動機と目的

• 安全強化学習における安全証明書と制御方策の相互依存性を解消すること。
• 未知の力学系において制御則や完全な安全証明書の事前知識に依存しないこと。
• 制約付きRLを用いて安全証明書と安全方策を統合的に最適化するフレームワークの構築。
• 安全方策と有効な安全証明書の両方について、連合最適化が局所最適解に収束することの証明。
• 安全が重要な環境において、制約違反がゼロとなるかの検証。

提案手法

• 安全証明書におけるエネルギー増加の発生を最小化する損失関数を定式化し、その合成を導く。
• ラグランジュベースの制約付き強化学習（CRL）における外側ループとして、安全証明書最適化を統合する。
• ポリシー、乗数、安全証明書のパラメータを異なる間隔で更新するマルチタイムスケールトレーニング方式を採用する。
• ニューラルネットワークを用いて安全証明書（エネルギー関数）をパラメータ化し、勾配更新を用いてポリシーと同時に学習する。
• ラグランジュ乗数を用いたペナルティベースのCRL定式化を採用し、ポリシー学習中に安全制約を強制する。
• 安全方策と有効な安全証明書の両方について、連合最適化プロセスが局所最適解に収束することを理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 システムの力学系や有効な安全証明書の事前知識がなくても、安全証明書と安全制御方策を同時に合成可能か？
• RQ2 有効な安全証明書の合成を制約付きRLフレームワークに統合することで、証明可能な安全性を確保できるか？
• RQ3 安定した安全証明書と方策の連合最適化を実現するためのトレーニングスケジュールと損失関数の定式化は何か？
• RQ4 提案手法は、安全が重要な環境において制約違反がゼロとなるか？
• RQ5 手作業で作成されたまたは先行して学習された証明書と比較して、学習された安全証明書は妥当性と最適性においてどのように異なるか？

主な発見

• 提案アルゴリズムは、複数の安全が重要なベンチマーク環境で制約違反がゼロとなることを達成し、強固な安全性を示した。
• 合成された安全証明書は数値的に妥当であることが検証され、独自環境では初期ヒューリスティックインデックスの85％と比較して99％の成功率を示した。
• 不実行率はベースラインの100％から合成証明書導入後1％に低下し、妥当性の向上が示された。
• 平均追従誤差は、手作業によるもの（3.528）から合成されたもの（3.378）に低下し、明示的な目的関数がなくても最適性が向上した。
• 理論的分析により、安全方策と安全証明書の両方について、アルゴリズムが局所最適解に収束することが証明された。
• 連合最適化フレームワークは、先行手法を上回り、安全性と妥当性の両面で優れた性能を示した。合成された証明書は、先行の合成ルールから得られるものよりも保守的でなかった。