[논문 리뷰] Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations

Lars Lindemann, Alexander Robey외 4명|arXiv (Cornell University)|2021. 11. 18.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 시스템 동역학과 상태 추정 불확실성 하에서 전문가의 시연 데이터로부터 안전한 제어 법칙을 학습하기 위해 강건 출력 제어 장벽 함수(ROCBFs)를 제안한다. 안전한 전문가 데이터를 사용하여 볼록 최적화 문제를 설정함으로써, 유한한 오차가 존재하는 상황에서도 안전 영역의 전방 불변성을 보장하며, RGB 입력을 사용하는 자율 주행 차량과 같은 자율 시스템에서 증명 가능한 안전한 제어를 가능하게 한다.

ABSTRACT

This paper addresses learning safe output feedback control laws from partial observations of expert demonstrations. We assume that a model of the system dynamics and a state estimator are available along with corresponding error bounds, e.g., estimated from data in practice. We first propose robust output control barrier functions (ROCBFs) as a means to guarantee safety, as defined through controlled forward invariance of a safe set. We then formulate an optimization problem to learn ROCBFs from expert demonstrations that exhibit safe system behavior, e.g., data collected from a human operator or an expert controller. When the parametrization of the ROCBF is linear, then we show that, under mild assumptions, the optimization problem is convex. Along with the optimization problem, we provide verifiable conditions in terms of the density of the data, smoothness of the system model and state estimator, and the size of the error bounds that guarantee validity of the obtained ROCBF. Towards obtaining a practical control algorithm, we propose an algorithmic implementation of our theoretical framework that accounts for assumptions made in our framework in practice. We validate our algorithm in the autonomous driving simulator CARLA and demonstrate how to learn safe control laws from simulated RGB camera images.

연구 동기 및 목표

• 시스템 동역학과 상태 추정기가 불확실할 때 데이터 기반 방법을 개발하여 안전한 제어 법칙을 학습하는 것.
• 시스템 동역학과 상태 추정의 유한한 오차가 존재하는 상황에서도 안전한 집합의 강건한 전방 불변성을 확보하여 안전성을 보장하는 것.
• 사전 분석적 구성 없이 전문가의 시연(예: 인간 주행)을 활용하여 유효한 제어 장벽 함수를 학습하는 것.
• 학습된 ROCBF가 유효하고 강건함을 보장하는 조건—데이터 밀도, 매끄러움, 오차 한계—를 제공하는 것.
• 실제 환경의 가정(예: 노이즈 있는 센서, 모델 정확도 부족)을 고려하여 실용적인 구현을 가능하게 하는 것.

제안 방법

• 불확실성 하에서도 안전 집합의 제어된 전방 불변성을 통해 안전성을 보장하는 강건 출력 제어 장벽 함수(ROCBFs)를 제안한다.
• 선형 매개변수화를 가정할 때, 안전한 전문가 시연 데이터로부터 ROCBF 매개변수를 학습하기 위한 볼록 최적화 문제를 설정한다.
• 학습된 ROCBF의 유효성을 보장하기 위해 데이터 밀도, 시스템/모델의 매끄러움, 오차 한계 크기 기반의 검증 가능한 조건을 도입한다.
• 추정 오차를 최적화 및 검증 과정에서 제한하기 위해 상태 공간과 출력 공간의 $ε$-넷 근사법을 사용한다.
• 상태 추정 오차 한계와 시스템 동역학의 불확실성 집합을 장벽 함수 설정에 통합하여 강건성을 확보한다.
• 실제 제약 조건(예: 센서 노이즈, 모델 정확도 부족)을 고려한 실용적인 알고리즘 구현을 개발하며, CARLA 시뮬레이터에서 검증한다.

실험 결과

연구 질문

• RQ1 유한한 시스템 동역학과 상태 추정 불확실성 하에서도 전문가 시연 데이터로부터 안전성을 보장하는 제어 장벽 함수를 학습할 수 있는가?
• RQ2 학습된 ROCBF가 모델 및 추정 오차에 대해 증명 가능한 유효성과 강건성을 확보할 수 있는 조건은 무엇인가?
• RQ3 ROCBF가 선형 매개변수화된 경우, 학습 최적화 문제의 볼록성이 어떻게 보장되는가?
• RQ4 시스템과 추정기의 데이터 밀도와 매끄러움은 학습된 ROCBF의 유효성에 어떤 역할을 하는가?
• RQ5 이론적 프레임워크는 자율 주행 차량과 같은 안전 중심 시스템의 실용적 구현에 어떻게 적응될 수 있는가?

주요 결과

• ROCBF가 선형 매개변수화된 경우 ROCBF 학습을 위한 최적화 문제는 볼록적이며, 이는 효율적이고 신뢰할 수 있는 학습을 가능하게 한다.
• 데이터 밀도, 시스템 및 추정기의 매끄러움, 오차 한계 크기 기반의 검증 가능한 조건이 존재하며, 이는 학습된 ROCBF의 유효성을 보장한다.
• 이 방법은 시스템 동역학과 상태 추정의 유한한 불확실성 하에서도 안전 집합이 전방 불변함을 보장한다.
• CARLA 시뮬레이터에서의 실증적 검증을 통해 RGB 카메라 이미지와 전문가 주행 시연 데이터로부터 안전한 제어 정책을 성공적으로 학습함을 입증하였다.
• 알고리즘 구현은 센서 노이즈와 모델 정확도 부족과 같은 실용적 가정을 성공적으로 반영하여 실제 환경 적용을 가능하게 하였다.