[논문 리뷰] Safety-Critical Learning of Robot Control with Temporal Logic Specifications

Mingyu Cai, Cristian-Ioan Vasile|arXiv (Cornell University)|2021. 09. 07.

Receptor Mechanisms and Signaling인용 수 4

한 줄 요약

이 논문은 선형 시간 논리(LTL) 사양을 사용하여 안전한 탐색을 보장하는 로봇 제어를 위한 안전 중심의 딥 강화 학습 프레임워크를 제안한다. 가우시안 프로세스(GPs)를 통한 불확실성 추정과 지수 제어 장벽 함수(ECBFs)를 통합하여 연속 상태 로봇 작업에서 높은 확률로 안전성을 확보한다. 보상 형태 조정과 안전 가이드링 프로세스를 갖춘 모듈러한 정책-기울기 아키텍처를 통해 근사 완벽한 성공률와 높은 확률의 안전 보장을 달성한다.

ABSTRACT

Reinforcement learning (RL) is a promising approach. However, success is limited to real-world applications, because ensuring safe exploration and facilitating adequate exploitation is a challenge for controlling robotic systems with unknown models and measurement uncertainties. The learning problem becomes even more difficult for complex tasks over continuous state-action. In this paper, we propose a learning-based robotic control framework consisting of several aspects: (1) we leverage Linear Temporal Logic (LTL) to express complex tasks over infinite horizons that are translated to a novel automaton structure; (2) we detail an innovative reward scheme for LTL satisfaction with a probabilistic guarantee. Then, by applying a reward shaping technique, we develop a modular policy-gradient architecture exploiting the benefits of the automaton structure to decompose overall tasks and enhance the performance of learned controllers; (3) by incorporating Gaussian Processes (GPs) to estimate the uncertain dynamic systems, we synthesize a model-based safe exploration during the learning process using Exponential Control Barrier Functions (ECBFs) that generalize systems with high-order relative degrees; (4) to further improve the efficiency of exploration, we utilize the properties of LTL automata and ECBFs to propose a safe guiding process. Finally, we demonstrate the effectiveness of the framework via several robotic environments. We show an ECBF-based modular deep RL algorithm that achieves near-perfect success rates and safety guarding with high probability confidence during training.

연구 동기 및 목표

• 알 수 없는 동역학과 측정 불확실성이 존재하는 로봇 시스템에서 딥 강화 학습의 안전한 탐색 문제를 해결하기 위해.
• 무한 시간 영역에서 연속 상태-행동 공간에서 선형 시간 논리(LTL)로 기술된 복잡한 고수준 작업을 학습 가능하게 하기 위해.
• 모델 기반의 불확실성 추정을 통해 훈련 중 안전성을 보장하면서도 형식적 방법(LTL)과 데이터 기반 학습(딥 RL)을 통합하기 위해.
• LTL 온톨로지와 ECBF 제약 조건을 활용하여 최적 정책을 유지하면서도 안전 제약 조건을 강제하는 안전 가이드링 프로세스를 개발하기 위해.
• 모델 불확실성 하에서 확률적 안전 보장을 보장하면서도 고성능의 안전한 제어를 로봇 환경에서 구현하기 위해.

제안 방법

• 복잡한 무한 시간 영역 작업을 표현하기 위해 새로운 오토마타 구조(LDGBA)로 LTL 사양을 변환하기 위해.
• LTL 사양 이행의 확률적 보장을 보장하는 보상 형태 조정 기법을 LTL 오토마타 기반으로 설계하기 위해.
• 확률적 신뢰 구간을 제공하는 온라인 비모수적 추정을 통해 불확실한 로봇 동역학을 실시간으로 추정하기 위해.
• 고차 상대 차수를 갖는 시스템에 대해 안전 제약 조건을 일반화하기 위해 지수 제어 장벽 함수(ECBFs)를 활용하기 위해.
• LTL 오토마타의 구조와 ECBF 제약 조건을 활용하여 탐색을 안전하고 높은 보상 영역으로 유도하는 안전 가이드링 프로세스를 구성하기 위해.
• 작업 분해와 학습 효율성 및 안전성을 향상시키기 위해 보상 형태 조정과 안전 레이어를 통합한 모듈러한 딥 결정성 정책 기울기(DDPG) 아키텍처를 구현하기 위해.

실험 결과

연구 질문

• RQ1 선형 시간 논리(LTL)로 기술된 복잡한 고수준 로봇 작업이 연속 상태-행동 공간에서 효과적으로 인코딩되고 학습될 수 있는가?
• RQ2 딥 강화 학습 중 LTL 사양의 확률적 이행을 보장하는 보상 형태 조정 메커니즘은 무엇인가?
• RQ3 로봇 시스템의 모델 불확실성을 확률적 신뢰도와 함께 실시간으로 추정하여 안전한 탐색을 가능하게 할 수 있는가?
• RQ4 지수 제어 장벽 함수(ECBFs)는 상대 차수가 높은 시스템에 대해 안전 제약 조건을 어떻게 일반화할 수 있는가?
• RQ5 안전 가이드링 프로세스는 딥 강화 학습 훈련 중 최적 정책을 유지하면서도 안전성을 보장할 수 있는가?

주요 결과

• 제안된 프레임워크는 훈련 중 높은 확률의 안전 보장을 보장하면서도 로봇 제어 작업에서 근사 완벽한 성공률를 달성한다.
• LTL 오토마타와 보상 형태 조정의 통합은 연속 환경에서 복잡한 무한 시간 영역 사양의 효과적인 학습을 가능하게 한다.
• 가우시안 프로세스(GPs)의 사용은 확률적 신뢰도를 제공하는 온라인 비모수적 추정을 통해 강력한 모델 기반 안전성을 실현한다.
• 지수 제어 장벽 함수(ECBFs)는 고차 상대 차수를 갖는 시스템에 대해 안전 제약 조건을 성공적으로 일반화하여 안전한 탐색을 보장한다.
• LTL 오토마타와 ECBF 제약 조건을 활용한 안전 가이드링 프로세스는 원래 최적 정책을 유지하면서 최적 행동에서의 이탈을 방지한다.
• 보상 형태 조정과 안전 레이어를 통합한 모듈러 DDPG 아키텍처는 다양한 로봇 환경에서 뛰어난 성능과 안전성을 보여준다.