[論文レビュー] End-to-End Safe Reinforcement Learning through Barrier Functions for Safety-Critical Continuous Control Tasks

Richard Cheng, Gábor Orosz+2 more|arXiv (Cornell University)|Mar 21, 2019

Autonomous Vehicle Technology and Safety参考文献 28被引用数 43

ひとこと要約

本論文は RL-CBF という枠組みを提示します。モデルフリー強化学習とモデルベースの制御バリア関数（CBF）およびガウス過程によるオンラインダイナミクス学習を組み合わせ、学習中の安全を保証し、非線形制御タスクにおけるサンプル効率を向上させる枠組み。

ABSTRACT

Reinforcement Learning (RL) algorithms have found limited success beyond simulated applications, and one main reason is the absence of safety guarantees during the learning process. Real world systems would realistically fail or break before an optimal controller can be learned. To address this issue, we propose a controller architecture that combines (1) a model-free RL-based controller with (2) model-based controllers utilizing control barrier functions (CBFs) and (3) on-line learning of the unknown system dynamics, in order to ensure safety during learning. Our general framework leverages the success of RL algorithms to learn high-performance controllers, while the CBF-based controllers both guarantee safety and guide the learning process by constraining the set of explorable polices. We utilize Gaussian Processes (GPs) to model the system dynamics and its uncertainties. Our novel controller synthesis algorithm, RL-CBF, guarantees safety with high probability during the learning process, regardless of the RL algorithm used, and demonstrates greater policy exploration efficiency. We test our algorithm on (1) control of an inverted pendulum and (2) autonomous car-following with wireless vehicle-to-vehicle communication, and show that our algorithm attains much greater sample efficiency in learning than other state-of-the-art algorithms and maintains safety during the entire learning process.

研究の動機と目的

• 現実世界の安全性が重要な連続制御タスクにおいて、安全な探索を動機づける。
• モデルフリーRLと制御バリア関数（CBF）およびオンラインダイナミクス学習を組み合わせることで、学習中の安全を保証する枠組みを開発する。
• CBF で探索ポリシ空間を制約し、オンラインでダイナミクスを学習することにより、探索効率とサンプル効率を向上させる。

提案手法

• 未知のダイナミクス d(s) をモデリングするために Gaussian Processes を用い、高確率区間 (mu_d, sigma_d) を得る。
• 線形バリア関数 h(s) によって安全集合 C を定義し、離散時間 CBF で前方不変性を保証する。これは二次計画法（QP）として定式化される。
• モデルフリーRLコントローラ u_RL をCBFコントローラと統合し、射影型QP（u = u_RL + u_CBF）を介して安全なエンドツーエンドコントローラを作成する。
• CBF ガイド付き探索に拡張し、過去のCBF補正を u_bar という導く項に蓄積して RL の更新を安全領域へ移すようにし、組み合わせたQP を解いて適用する行動を得る。
• 理論的な安全保証を提供する：QP がスラックゼロ（epsilon=0）なら安全集合は確率 1-δ で前方不変。スラックが有限の場合、安全性は拡張集合 C_ε へと広がり、確率 1-δ。
• 過去のCBF項の和をニューラルネットワークで近似してオンライン計算量を抑え、計算効率の高い実装を提供。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーRLアルゴリズムを、モデルベースの制御CBFを用いて学習中に安全にすることは可能か？
• RQ2 Gaussian Processes によるダイナミクスのオンライン学習は、信頼できる安全保証とCBFコントローラの適応的保守性を実現するか？
• RQ3 CBF でポリシー探索を導くことは、非線形制御タスクにおいて標準的なモデルフリーRLと比較してサンプル効率を改善するか？
• RQ4 RLとCBFを統合して、安全性を保ちながらベースラインRL手法と比較して競争力ある、あるいはそれを上回る性能を達成することは可能か？
• RQ5 倒立振子制御や車両追従など、実用的なタスクにおけるRL-CBFアプローチの実用的な利点と限界は何か？

主な発見

• RL-CBF は評価タスクにおいて TRPO や DDPG のベースラインより学習を早く進め、サンプル効率が高い。
• RL-CBF フレームワークは、学習全体を通じて安全集合 C にシステムを保持することで安全性を確保する（確率的保証付き）。
• 実験では TRPO-CBF および DDPG-CBF が高性能コントローラへ迅速に収束し、標準的なRL手法が学習中に示す不安全な振る舞いを回避する。
• 導かれたRLコントローラが安全なポリシーを学習するにつれてCBF成分は迅速に非活性化し、時間とともに安全介入の効果的な低減を示す。
• 過去のCBF寄与を近似する棒状キャップ神経網を用いた実用的な拡張は、安全保証を維持しつつオンライン計算を削減する。
• ベースラインと比較して、倒立振子タスクは安全性を維持しつつ学習速度が優れることを示し、車両追従タスクではCBF 指導による安全で改善されたポリシー探索を示す。