[논문 리뷰] Learning for Safety-Critical Control with Control Barrier Functions

Andrew J. Taylor, Andrew Singletary외 2명|arXiv (Cornell University)|2019. 12. 20.

Advanced Control Systems Optimization참고 문헌 43인용 수 94

한 줄 요약

본 논문은 제어 장애 함수(CBF)에 영향을 주는 모델 불확실성을 학습하는 에피소드 학습 프레임워크를 제시하여 더 안전한 컨트롤러를 합성하며, 시뮬레이션에서 Segway로, 실제 하드웨어에서도 검증되었습니다.

ABSTRACT

Modern nonlinear control theory seeks to endow systems with properties of stability and safety, and have been deployed successfully in multiple domains. Despite this success, model uncertainty remains a significant challenge in synthesizing safe controllers, leading to degradation in the properties provided by the controllers. This paper develops a machine learning framework utilizing Control Barrier Functions (CBFs) to reduce model uncertainty as it impact the safe behavior of a system. This approach iteratively collects data and updates a controller, ultimately achieving safe behavior. We validate this method in simulation and experimentally on a Segway platform.

연구 동기 및 목표

• 비선형 시스템에서 모델 불확실성 하의 안전성 중심 제어의 필요성을 제기한다.
• 전방향 안전 불변성을 보장하기 위해 제어 장애 함수(CBFs)를 활용한다.
• 모델링되지 않은 다이나믹이 CBF에 미치는 영향을 학습하기 위한 에피소드 학습 프레임워크를 도입한다.
• 데이터 기반의 CBF 도함수 학습을 최적화 기반 안전 컨트롤러와 통합한다.
• Segway를 대상으로 한 시뮬레이션 및 하드웨어 실험을 통해 효과를 입증한다.

제안 방법

• 명목 선형 제어 애드인 다이나믹 모델과 CBF 기반 안전 제약을 정의한다.
• 모델 불확실성은 CBF의 시간 도함수에서 모델링되지 않은 다이나믹스로 들어오며; 데이터에서 추정된 a와 b를 포함하는 dot-h 보정 항을 학습한다.
• 집계된 데이터를 사용해 CBF 도함수 추정기를 반복적으로 업데이트하는 DAgger 유사의 에피소드 학습 루프를 제안한다.
• 학습된 dot-h 추정기를 사용하는 안전-중요 컨트롤러(CBF-QP)와 학습 보강 버전(LCBF-QP)을 제시한다.
• 신경망을 사용해 불확실성 항 a(x)와 b(x)를 근사하고, 에피소드에 따라 가중치를 두고 학습 컨트롤러와 명목 컨트롤러를 혼합한다.
• 시뮬레이션과 하드웨어 모두에서 Segway 플랫폼을 대상으로 데이터 수집과 학습을 시연한다.

실험 결과

연구 질문

• RQ1 다이나믹의 모델 불확실성이 CBF의 시간 도함수 및 안전 보장에 어떤 영향을 미치는가?
• RQ2 에피소드 학습 프레임워크가 모델링되지 않은 다이내믹이 CBF에 미치는 영향을 정확히 학습하여 안전을 유지할 수 있는가?
• RQ3 학습된 CBF 다이나믹을 QP 기반 컨트롤러에 통합하면 모델 기반 CBF 컨트롤러에 비해 불확실성 하에서 안전이 향상되는가?
• RQ4 시뮬레이션 외에 물리적 플랫폼( Segway)에서 실험적으로 검증할 수 있는가?

주요 결과

• 학습 보강 컨트롤러(LCBF-QP)가 시뮬레이션에서 최대 15% 매개변수 섭동 하에서도 상태를 CBF 안전 집합 내에 유지한다.
• a(x)와 b(x)에 대한 신경망 추정기를 이용한 에피소드 기반 데이터 수집은 안전 위반을 줄이고 h(x)≥0를 유지한다.
• 본 접근법은 Ninebot Segway에서 실험적으로 입증되었으며 피치 각 속도에 바리어를 적용할 때 모델 기반 컨트롤러에 비해 안전성이 향상됨을 보인다.
• 높아지는 신뢰 가중치로 학습 컨트롤러와 명목 컨트롤러를 혼합하면 하드웨어 테스트에서 주목할 만한 안전성 향상이 나타난다.
• 이 프레임워크는 CBF 다이나믹의 데이터 기반 추정과 최적화 기반 안전 컨트롤러를 연결하여 모델 불확실성 하에서 더 안전한 작동을 가능하게 한다.