[論文レビュー] Safety-Critical Learning of Robot Control with Temporal Logic Specifications

Mingyu Cai, Cristian-Ioan Vasile|arXiv (Cornell University)|Sep 7, 2021

Receptor Mechanisms and Signaling被引用数 4

ひとこと要約

本稿では、線形時系列論理（LTL）仕様を用いたロボット制御のための安全制約付き深層強化学習フレームワークを提案する。ガウス過程（GPs）を用いて不確実性を推定し、指数型制御バリア関数（ECBFs）を統合することで、安全な探索を保証する。報酬形状付けと安全な誘導プロセスを備えたモジュラーなポリシー勾配アーキテクチャにより、連続状態のロボットタスクにおいて高確率の安全保証とほぼ完璧な成功確率を達成する。

ABSTRACT

Reinforcement learning (RL) is a promising approach. However, success is limited to real-world applications, because ensuring safe exploration and facilitating adequate exploitation is a challenge for controlling robotic systems with unknown models and measurement uncertainties. The learning problem becomes even more difficult for complex tasks over continuous state-action. In this paper, we propose a learning-based robotic control framework consisting of several aspects: (1) we leverage Linear Temporal Logic (LTL) to express complex tasks over infinite horizons that are translated to a novel automaton structure; (2) we detail an innovative reward scheme for LTL satisfaction with a probabilistic guarantee. Then, by applying a reward shaping technique, we develop a modular policy-gradient architecture exploiting the benefits of the automaton structure to decompose overall tasks and enhance the performance of learned controllers; (3) by incorporating Gaussian Processes (GPs) to estimate the uncertain dynamic systems, we synthesize a model-based safe exploration during the learning process using Exponential Control Barrier Functions (ECBFs) that generalize systems with high-order relative degrees; (4) to further improve the efficiency of exploration, we utilize the properties of LTL automata and ECBFs to propose a safe guiding process. Finally, we demonstrate the effectiveness of the framework via several robotic environments. We show an ECBF-based modular deep RL algorithm that achieves near-perfect success rates and safety guarding with high probability confidence during training.

研究の動機と目的

• 未知の動的特性と測定誤差を有するロボットシステムにおける安全な探索の課題に対処すること。
• 連続的状態・行動空間における無限時間スパンのLTLで指定された複雑な高レベルタスクの学習を可能にすること。
• 形式的手法（LTL）とデータ駆動型学習（深層RL）を統合し、モデルベースの不確実性推定を通じて学習中における安全保証を達成すること。
• LTLオートマトンとECBFを用いて安全制約を強制しながら最適ポリシーを保持する安全な誘導プロセスの開発。
• モデル不確実性下でも確率的安全保証を伴う、高性能で安全なロボット制御の実証。

提案手法

• 無限時間スパンの複雑なタスクを表現するための新規オートマトン構造（LDGBA）へのLTL仕様の変換。
• LTLオートマトンに基づく報酬形状付けスキームの設計により、LTL満足確率保証付きのポリシー学習を誘導。
• ガウス過程（GPs）を用いて、オンラインで不確実なロボット動的特性を確率的信頼区間とともに推定。
• 高次相対次数を持つシステムに対する安全制約の一般化を実現するため、指数型制御バリア関数（ECBFs）の採用。
• LTLオートマトン構造とECBF制約を活用して、安全で報酬の高い領域へ向かう探索を誘導する安全な誘導プロセスの構築。
• タスクの分解を可能にし、学習効率と安全性を向上させるモジュラーな深層決定的ポリシー勾配（DDPG）アーキテクチャの実装。

実験結果

リサーチクエスチョン

• RQ1 LTLで指定された複雑な高レベルロボットタスクを、連続的状態・行動空間に効果的に符号化し、学習することは可能か？
• RQ2 深層強化学習中にLTL仕様の確率的満足を保証する報酬形状付けメカニズムは何か？
• RQ3 ロボットシステムにおけるモデル不確実性を、確率的信頼区間とともにオンラインで推定し、安全な探索を可能にする方法は何か？
• RQ4 高次相対次数を持つシステムに対して、指数型制御バリア関数（ECBFs）をどのように一般化して安全制約を拡張できるか？
• RQ5 安全な誘導プロセスは、最適ポリシーを保持しつつ、深層RL学習中の安全制約を強制できるか？

主な発見

• 提案フレームワークは、学習中において高確率の安全保証を伴い、ロボット制御タスクでほぼ完璧な成功確率を達成した。
• LTLオートマトンと報酬形状付けの統合により、連続環境における複雑な無限時間スパンの仕様の効果的学習が可能になった。
• ガウス過程の使用により、確率的信頼区間を伴う非パラメトリックな不確実動的特性推定がオンラインで可能となり、モデルベースの安全保証が強化された。
• 指数型制御バリア関数（ECBFs）は、高次相対次数を持つシステムに対しても安全制約を効果的に一般化し、安全な探索を実現した。
• LTLオートマトンとECBF制約を活用した安全な誘導プロセスにより、元の最適ポリシーが保持され、最適行動からの逸脱が防止された。
• 報酬形状付けと安全層を備えたモジュラーDDPGアーキテクチャは、複数のロボット環境において優れた性能と安全性を示した。