[논문 리뷰] End-to-End Safe Reinforcement Learning through Barrier Functions for Safety-Critical Continuous Control Tasks

Richard Cheng, Gábor Orosz외 2명|arXiv (Cornell University)|2019. 03. 21.

Autonomous Vehicle Technology and Safety참고 문헌 28인용 수 43

한 줄 요약

논문은 RL-CBF를 제시합니다. 이는 모델 프리 RL과 모델 기반 제어 차단 함수(CBFs), 그리고 Gaussian Processes를 통한 온라인 다이나믹스 학습을 결합하여 학습 중 안전을 보장하고 비선형 제어 작업에서 샘플 효율을 개선하는 프레임워크입니다.

ABSTRACT

Reinforcement Learning (RL) algorithms have found limited success beyond simulated applications, and one main reason is the absence of safety guarantees during the learning process. Real world systems would realistically fail or break before an optimal controller can be learned. To address this issue, we propose a controller architecture that combines (1) a model-free RL-based controller with (2) model-based controllers utilizing control barrier functions (CBFs) and (3) on-line learning of the unknown system dynamics, in order to ensure safety during learning. Our general framework leverages the success of RL algorithms to learn high-performance controllers, while the CBF-based controllers both guarantee safety and guide the learning process by constraining the set of explorable polices. We utilize Gaussian Processes (GPs) to model the system dynamics and its uncertainties. Our novel controller synthesis algorithm, RL-CBF, guarantees safety with high probability during the learning process, regardless of the RL algorithm used, and demonstrates greater policy exploration efficiency. We test our algorithm on (1) control of an inverted pendulum and (2) autonomous car-following with wireless vehicle-to-vehicle communication, and show that our algorithm attains much greater sample efficiency in learning than other state-of-the-art algorithms and maintains safety during the entire learning process.

연구 동기 및 목표

• 실제 환경의 안전-critical 연속 제어 작업에서 안전한 탐색을 위한 강화 학습 동기 부여.
• 모델 프리 RL과 제어 차단 함수(CBFs) 및 온라인 다이나믹스 학습을 결합하여 학습 중 안전을 보장하는 프레임워크를 개발.
• CBFs로 탐색 공간을 제약하고 온라인으로 다이나믹스를 학습함으로써 탐색 효율성과 샘플 효율성을 향상시키고자 함.

제안 방법

• 알려지지 않은 다이나믹스 d(s)를 모델링하고 높은 확률의 신뢰 구간(mu_d, sigma_d)을 얻기 위해 Gaussian Processes를 사용합니다.
• 선형 벽 함수 h(s)를 통해 안전 집합 C를 정의하고 이산 시간 CBFs를 사용하여 앞으로의 보존성을 이행하며, 이는 QP(Quadratic Program)로 형식화됩니다.
• 모델 프리 RL 제어기 u_RL과 CBF 제어기를 통합하여 프로젝션 같은 QP(u = u_RL + u_CBF) 방식으로 안전한 엔드-투-엔드 컨트롤러를 만듭니다.
• CBF 기반 탐색으로 이전 CBF 보정을 축적하여 RL 업데이트를 안전한 영역으로 이동시키는 guiding term u_bar를 형성하고, 이를 통해 해를 구하는 결합된 QP를 해결하여 배치된 동작을 얻습니다.
• 이론적 안전 보장을 제공합니다: QP에 슬랙이 0(ε=0)인 경우, 안전 집합은 확률 1-δ로 앞으로 불변이며, 한정된 슬랙이 있으면 안전은 확장된 집합 C_ε로 확장되어 확률 1-δ로 보장됩니다.
• 온라인 복잡도를 줄이기 위해 과거의 CBF 항들의 합을 신경망으로 근사하여 계산 효율을 높이는 구현 방법을 제시합니다.

실험 결과

연구 질문

• RQ1 모델 프리 RL 알고리즘을 CBFs라는 모델 기반 제어 차단 함수를 사용함으로써 학습 중 안전하게 만들 수 있는가?
• RQ2 Gaussian Processes를 통한 다이나믹스의 온라인 학습이 신뢰할 수 있는 안전 보장과 차단 제어기의 적응적 보수성에 기여하는가?
• RQ3 CBFs를 사용한 정책 탐색의 가이드를 통해 비선형 제어 과제에서 샘플 효율성을 기존의 모델 프리 RL보다 향상시킬 수 있는가?
• RQ4 RL과 CBF를 통합하는 것이 안전을 보존하면서 바탕의 RL 방법과 비교해 경쟁적 또는 우수한 성능을 달성 가능한가?
• RQ5 inverted pendulum 제어나 차량 추종과 같은 실제 스타일 과제에서 RL-CBF 접근의 실용적 이점과 한계는 무엇인가?

주요 결과

• RL-CBF는 평가된 과제에서 TRPO 또는 DDPG 기반선보다 더 빠른 학습 및 더 높은 샘플 효율성을 달성합니다.
• RL-CBF 프레임워크는 학습 전 과정을 안전 집합 C 내에 시스템을 유지함으로써 안전을 확률적 보장과 함께 유지합니다.
• 실험에서 TRPO-CBF 및 DDPG-CBF는 표준 RL 방법이 학습 중에 보이는 unsafe한 탐험을 피하면서 고성능 컨트롤러로 빠르게 수렴합니다.
• CBF 구성요소는 가이던스된 RL 컨트롤러가 안전한 정책을 학습함에 따라 빠르게 비활성화되어 시간에 따라 안전 개입의 효과적 감소를 시사합니다.
• 과거의 CBF 기여를 바탕으로 하는 바 형태의 뉴럴 네트워크를 통한 확장은 안전 보장을 유지하면서 온라인 계산을 감소시킵니다.
• 베이스라인과 비교할 때 inverted pendulum 과제에서 안전이 유지되고 학습 속도가 우수하며, 자동차 추종 과제는 CBF 가이던스와 함께 안전하고 향상된 정책 탐색을 보여줍니다.