[論文レビュー] Safety-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions

Mingyu Cai, Cristian-Ioan Vasile|arXiv (Cornell University)|Sep 7, 2021

Advanced Control Systems Optimization参考文献 55被引用数 4

ひとこと要約

本論文は、線形時相論理（LTL）仕様、不確実性モデリングのためのガウス過程、および指数型制御バリア関数（ECBFs）を統合した、安全を最優先とするモジュラー深層強化学習フレームワークを提案する。このフレームワークは、連続的状態空間および行動空間における複雑なタスクの高確率満足と安全な探索を保証する。ロボット環境における訓練段階でも、ほぼ完璧な成功確率と強固な安全保証を達成している。

ABSTRACT

Reinforcement learning (RL) is a promising approach and has limited success towards real-world applications, because ensuring safe exploration or facilitating adequate exploitation is a challenges for controlling robotic systems with unknown models and measurement uncertainties. Such a learning problem becomes even more intractable for complex tasks over continuous space (state-space and action-space). In this paper, we propose a learning-based control framework consisting of several aspects: (1) linear temporal logic (LTL) is leveraged to facilitate complex tasks over an infinite horizons which can be translated to a novel automaton structure; (2) we propose an innovative reward scheme for RL-agent with the formal guarantee such that global optimal policies maximize the probability of satisfying the LTL specifications; (3) based on a reward shaping technique, we develop a modular policy-gradient architecture utilizing the benefits of automaton structures to decompose overall tasks and facilitate the performance of learned controllers; (4) by incorporating Gaussian Processes (GPs) to estimate the uncertain dynamic systems, we synthesize a model-based safeguard using Exponential Control Barrier Functions (ECBFs) to address problems with high-order relative degrees. In addition, we utilize the properties of LTL automatons and ECBFs to construct a guiding process to further improve the efficiency of exploration. Finally, we demonstrate the effectiveness of the framework via several robotic environments. And we show such an ECBF-based modular deep RL algorithm achieves near-perfect success rates and guard safety with a high probability confidence during training.

研究の動機と目的

• 未知の動的特性と測定誤差を有するロボットシステムにおける、安全な探索と活用の課題に対処すること。
• 連続的空間における長時間スケールの複雑なタスクを、線形時相論理（LTL）仕様を用いて形式化すること。
• LTL仕様の満足を保証するグローバル最適性を達成するための、新しいアトマトンベースの構造を用いた報酬形状化機構の開発。
• ガウス過程と指数型制御バリア関数（ECBFs）を統合し、特に高次相対次数を持つシステムに対してもモデルベースの安全確保を実現すること。
• LTLアトマトン構造とECBF制約に基づくガイドラインを用いたモジュラー・ポリシー勾配アーキテクチャにより、サンプル効率とポリシー性能の向上。

提案手法

• 複雑で無限時間スケールのタスクを表現するため、線形時相論理（LTL）を用い、ポリシー学習に適した新しいアトマトン構造に変換する。
• 最適ポリシーがLTL仕様の満足確率を最大化することを形式的に保証する報酬形状化スキームを設計する。
• アトマトン構造を用いて全体タスクを分解するモジュラー・ポリシー勾配アーキテクチャを開発し、学習効率と制御性能の向上を図る。
• リアルタイムでのモデル不確実性推定を可能とするために、ガウス過程（GPs）を用いて不確実なシステム動的特性をモデリングする。
• 高次相対次数を持つシステムに対しても、制約の満足を保証するモデルベースの安全層を合成するため、指数型制御バリア関数（ECBFs）を導入する。
• LTLアトマトンの性質とECBF制約を統合したガイドプロセスを構築し、安全な探索の加速とサンプル効率の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 LTL仕様をどのように効果的に符号化し、連続的状態空間および行動空間における深層強化学習をガイドすることができるか？
• RQ2 最適ポリシーがLTL仕様の満足確率を最大化することを形式的に保証できる報酬形状化機構を設計できるか？
• RQ3 モジュラー・ポリシー勾配アーキテクチャは、複雑なロボット制御タスクにおける学習パフォーマンスとスケーラビリティをどのように向上できるか？
• RQ4 ガウス過程と指数型制御バリア関数は、どのようにして高次相対次数を持つシステムの安全確保を共同で実現できるか？
• RQ5 LTLアトマトン構造とECBF制約の統合は、深層強化学習における探索の効率性と安全性をどの程度向上できるか？

主な発見

• 提案フレームワークは、複数のロボット制御環境でほぼ完璧な成功確率を達成し、タスク実行の高信頼性を示している。
• ECBFとガウス過程の統合により、訓練段階においても高い確率的信頼性で安全な探索と制約の満足が保証されている。
• モジュラー・ポリシー勾配アーキテクチャは、非モジュラーなベースラインと比較して、顕著に学習効率とパフォーマンスが向上している。
• 報酬形状化機構は、グローバル最適ポリシーがLTL仕様の満足確率を最大化することを形式的に保証している。
• LTLアトマトンとECBFの性質に基づくガイドプロセスは、収束の加速とサンプル効率の向上を実現している。
• 本フレームワークは、従来の安全強化学習手法でしばしば無視される高次相対次数を持つシステムに対しても、効果的に対応できている。