[논문 리뷰] Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions

Fernando Castañeda, Jason J. Choi외 4명|arXiv (Cornell University)|2022. 08. 23.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스를 통합한 제어 바리어 기능(GP-CBF)을 사용하여 안전 기반 제어의 순차적 타당성을 보장하는 확률적 온라인 학습 프레임워크를 제안한다. 이론적으로는 이벤트 트리거드 데이터 수집과 함께 불확실성 인식 최적화를 통한 강건한 CBF 최적화를 정식화함으로써, 미미한 영역에서도 높은 확률로 안전 영역의 전방 불변성을 보장한다. 이는 안전성을 유지하기 위해 언제 새로운 데이터가 필요한지 동적으로 결정한다.

ABSTRACT

Learning-based control has recently shown great efficacy in performing complex tasks for various applications. However, to deploy it in real systems, it is of vital importance to guarantee the system will stay safe. Control Barrier Functions (CBFs) offer mathematical tools for designing safety-preserving controllers for systems with known dynamics. In this article, we first introduce a model-uncertainty-aware reformulation of CBF-based safety-critical controllers using Gaussian Process (GP) regression to close the gap between an approximate mathematical model and the real system, which results in a second-order cone program (SOCP)-based control design. We then present the pointwise feasibility conditions of the resulting safety controller, highlighting the level of richness that the available system information must meet to ensure safety. We use these conditions to devise an event-triggered online data collection strategy that ensures the recursive feasibility of the learned safety controller. Our method works by constantly reasoning about whether the current information is sufficient to ensure safety or if new measurements under active safe exploration are required to reduce the uncertainty. As a result, our proposed framework can guarantee the forward invariance of the safe set defined by the CBF with high probability, even if it contains a priori unexplored regions. We validate the proposed framework in two numerical simulation experiments.

연구 동기 및 목표

• 부족한 데이터로 인해 안전하게 구동할 수 없지만, 데이터 수집을 위해 구동이 필요하다는 온라인 학습의 안전 딜레마를 해결한다.
• 근사 시스템 모델과 실제 동역학 사이의 격차를 메우기 위해 가우시안 프로세스(GP) 회귀를 활용하여 제어 바리어 기능의 불확실성을 모델링한다.
• 사용 가능한 데이터와 시스템 동역학에 대한 풍부한 조건을 유도함으로써 안전 기반 제어기가 항상 타당성을 유지할 수 있도록 보장한다.
• 순차적 타당성과 안전성을 유지하기 위해 언제 새로운 측정치가 필요한지 결정하는 이벤트 트리거드 데이터 수집 전략을 개발한다.
• 사전에 탐색되지 않은 영역에서도 높은 확률로 안전 영역의 전방 불변성을 공식적으로 보장한다.

제안 방법

• 시스템 동역학의 불확실성을 모델링하기 위해 가우시안 프로세스 회귀를 사용하여 제어 바리어 기능(CBF)을 재정의함으로써, 제2차원 원형 프로그래밍(GP-CBF-SOCP) 형식을 도출한다.
• 스칼라 양 $ p $ 의 부호에 기반한 타당성 조건을 도입하여, 현재 데이터와 모델 불확실성 하에서 안전한 제어 입력이 존재하는지 여부를 판단한다.
• 이벤트 트리거드 데이터 수집 메커니즘을 정의하여 $ p \leq 0 $ 인 경우에만 작동하게 하여, 안전성을 보장할 수 없는 정보 부족 상태를 감지하고 새로운 측정치를 유도한다.
• 비선형 방향 $ e_{\dagger} $ 에 따라 새로운 데이터가 불확실성을 감소시키도록 사후 분산 업데이트 규칙을 적용함으로써, 시간이 지남에 따라 타당성이 향상됨을 보장한다.
• 강한 볼록성과 제약 조건의 충족 조건을 활용하여 안전 제어 법칙의 국소 리프시츠 연속성을 증명함으로써, 닫힌 루프 궤적의 국소 존재성과 유일성을 보장한다.
• 파arametric 최적화 이론의 이론적 결과를 적용하여 GP-CBF-SOCP가 항상 타당성을 유지하고, 실시간으로 안전한 제어 입력을 계산할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 모델 불확실성과 제한된 데이터 하에서 GP-CBF 기반 안전 제어기가 순차적으로 타당성이 보장되는 조건은 무엇인가?
• RQ2 온라인 학습 중 안전성을 유지하기 위해 언제 새로운 데이터 수집이 필요한지 공식적으로 판단할 수 있는가?
• RQ3 사전에 탐색되지 않은 상태 공간의 영역에서도 안전 영역의 전방 불변성을 높은 확률로 보장할 수 있는가?
• RQ4 시스템이 안전하면서도 시간이 지남에 따라 모델 신뢰도를 향상시키기 위한 데이터 수집 전략은 무엇인가?
• RQ5 GP 회귀를 CBF와 통합함으로써 오프라인 데이터나 완벽한 모델 없이도 안전하고 적응형 학습을 가능하게 하는 방식은 무엇인가?

주요 결과

• 제안된 GP-CBF-SOCP는 스칼라 $ p > 0 $ 라면 유일하게 타당성이 보장되며, 기하학적으로 이는 CBF 제약 조건의 초평면이 제2차원 원형의 점점선 위에 위치함을 의미한다.
• 값 $ p \leq 0 $ 일 경우 CBF 제약 조건이 타당하지 않게 되어, 새로운 데이터가 필요함을 나타내며 안전한 제어 입력 계산 능력 복원이 요구된다.
• 값 $ p $ 조건에 기반한 이벤트 트리거드 데이터 수집은 시스템이 필요한 경우에만 데이터를 수집함으로써 순차적 타당성과 안전성을 유지한다.
• 새로운 데이터 포인트를 추가한 후, 임계 방향 $ e_{\dagger} $ 에 따른 사후 분산이 감소하여 $ \lambda_{\dagger} < 0 $ 가 되고, 타당성이 복원됨을 보장한다.
• 강한 볼록성과 제약 조건 충족 조건 덕분에 안전 제어 입력 $ u_{\text{safe}} $ 는 국소 리프시츠 연속성을 가지며, 닫힌 루프 시스템의 잘 정의됨을 보장한다.
• 확률적 불확실성 모델과 적응형 데이터 수집 덕분에, 사전에 탐색되지 않은 영역에서도 안전 영역의 전방 불변성에 대해 공식적인 높은 확률 보장을 제공한다.