[논문 리뷰] Safe Control Under Input Limits with Neural Control Barrier Functions

Simin Liu, Changliu Liu외 1명|arXiv (Cornell University)|2022. 11. 20.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 입력 포화 하에서 고차원 비선형 시스템의 안전성을 보장하기 위해 신경 제어 장벽 기능(CBF)을 사용하는 학습 기반 방법을 제안한다. 학습자-비평가 프레임워크를 활용하여 신경망 최적화를 통해 반복적으로 입력 포화를 제거하며, 이는 10차원 펌프드쿼드코pter-펜듈럼 시스템에서 거의 완벽한 안전성(99.4%–100% 안전한 롤아웃)을 달성한다. 형식적 도달 가능성 방법에 의존하지 않는다.

ABSTRACT

We propose new methods to synthesize control barrier function (CBF)-based safe controllers that avoid input saturation, which can cause safety violations. In particular, our method is created for high-dimensional, general nonlinear systems, for which such tools are scarce. We leverage techniques from machine learning, like neural networks and deep learning, to simplify this challenging problem in nonlinear control design. The method consists of a learner-critic architecture, in which the critic gives counterexamples of input saturation and the learner optimizes a neural CBF to eliminate those counterexamples. We provide empirical results on a 10D state, 4D input quadcopter-pendulum system. Our learned CBF avoids input saturation and maintains safety over nearly 100% of trials.

연구 동기 및 목표

• 고차원 비선형 시스템에서 포화를 일으키지 않는 제어 장벽 기능(CBF)을 합리적이고 일반화된 방법으로 합성하는 데에 대한 부족함을 해결하기 위해.
• 기존 CBF 기반 제어기에서 입력 포화가 안전 보장을 무효화하는 심각한 한계를 극복하기 위해.
• 인간의 간섭을 줄이고 복잡한 시스템으로까지 확장 가능한 자동화된 기계학습 기반 CBF 합성 프레임워크를 개발하기 위해.
• 모델 불확실성과 확률적 동역학 하에서도 안정성을 확보하기 위해 정밀도 평가를 수행하기 위해.
• 어려운 10차원, 4차원 입력 비선형 시스템(펌프드쿼드코프터-펜듈럼)에서 이 방법의 효능을 입증하기 위해.

제안 방법

• CBF 합성을 신경망 학습 문제로 재정의하여, 제어 입력의 제한 조건을 만족하도록 신경 CBF를 최적화한다.
• 학습자-비평가 아키텍처를 사용한다: 비평자는 입력 포화의 반례를 식별하고, 학습자는 이를 제거하도록 신경 CBF를 업데이트한다.
• 학습 손실은 제어 입력 집합 내 모든 입력에 대해 CBF 도함수 조건이 유지되도록 보장하여 안전 집합의 불변성을 확보한다.
• 상태 입력(예: 각속도를 선속도로 변환)에 대한 변수 변환을 적용하여 학습 안정성과 수렴성을 향상시킨다.
• 형식적 도달 가능성 방법(예: HJ 도달 가능성)을 피함으로써 이론적 보장을 포기하고 고차원 시스템의 확장성 확보.
• 안전 집합 부피 추정을 위해 100만 개의 상태 샘플을 사용하고, 모델 불일치 및 확률적 노이즈 하에서 시험한다.

실험 결과

연구 질문

• RQ1 데이터 기반, 신경망 기반 접근 방식이 고차원 비선형 시스템에서 포화를 일으키지 않는 CBF를 효과적으로 합성할 수 있는가?
• RQ2 학습자-비평가 프레임워크는 복잡한 동역학에서 안전성을 유지하면서 입력 포화를 어떻게 줄이는가?
• RQ3 모델 불확실성과 확률적 외란 하에서 학습된 CBF의 경험적 안전성 성능는 어떠한가?
• RQ4 학습된 안전 집합 부피는 단순한 시스템에서 이론적 최대 안전 집합과 비교해 어떻게 되는가?
• RQ5 기존 도달 가능성 기반 CBF 합성의 한계를 초월할 수 있는가?

주요 결과

• 제안된 방법은 10차원 상태, 4차원 입력의 펌프드쿼드코프터-펜듈럼 시스템에서 100만 번의 롤아웃 전반에 걸쳐 거의 100%의 안전성을 달성했으며, 노이즈 분산 1% 조건에서 99.42%의 안전성을 확보했다.
• 모델 불일치 하에서도 안전성을 유지했으며, 관성 모델이 과소평가된 경우 99.66%의 안전성, 5배 과대평가된 경우 89.18%의 안전성을 기록했다.
• 2차원 역퍼니 펜듈럼 벤치마크에서 이론적 최대 안전 집합의 93.47%에 해당하는 안전 집합 부피를 생성하여 최적 안전 집합 대비 뛰어난 성능을 보였다.
• 신경 CBF 프레임워크는 기존 방법이 실패하는 고차원 비선형 동역학에서도 모든 시험에서 입력 포화를 성공적으로 피했다.
• 확률적 외란에 대해 뛰어난 강건성을 보였으며, 노이즈 분산이 1에서 10으로 증가함에 따라 안전성은 점진적으로 감소했다.
• 초기 상태 변수 변환 이후에는 인간 간섭이 전혀 필요로 하지 않아 자동화 잠재력이 뛰어나다.