[논문 리뷰] Safe Control with Neural Network Dynamic Models

Tianhao Wei, Changliu Liu|arXiv (Cornell University)|2021. 10. 03.

Fault Detection and Control Systems참고 문헌 12인용 수 8

한 줄 요약

이 논문은 유전적 알고리즘을 통한 오프라인 안전 지수 합성과 혼합정수프로그래밍을 통한 온라인 최적 제어를 조합하여, 신경망 동적 모델(NNDMs)에 대한 안전 제어를 합성하는 최초의 방법인 MIND-SIS를 제안한다. 이는 안전 영역의 전방 불변성을 보장하며, 수치 검증에서 안전 위반 없이 $10^{-8}$ 이내의 최적성 갭을 달성한다.

ABSTRACT

Safety is critical in autonomous robotic systems. A safe control law ensures forward invariance of a safe set (a subset in the state space). It has been extensively studied regarding how to derive a safe control law with a control-affine analytical dynamic model. However, in complex environments and tasks, it is challenging and time-consuming to obtain a principled analytical model of the system. In these situations, data-driven learning is extensively used and the learned models are encoded in neural networks. How to formally derive a safe control law with Neural Network Dynamic Models (NNDM) remains unclear due to the lack of computationally tractable methods to deal with these black-box functions. In fact, even finding the control that minimizes an objective for NNDM without any safety constraint is still challenging. In this work, we propose MIND-SIS (Mixed Integer for Neural network Dynamic model with Safety Index Synthesis), the first method to derive safe control laws for NNDM. The method includes two parts: 1) SIS: an algorithm for the offline synthesis of the safety index (also called as barrier function), which uses evolutionary methods and 2) MIND: an algorithm for online computation of the optimal and safe control signal, which solves a constrained optimization using a computationally efficient encoding of neural networks. It has been theoretically proved that MIND-SIS guarantees forward invariance and finite convergence. And it has been numerically validated that MIND-SIS achieves safe and optimal control of NNDM. From our experiments, the optimality gap is less than $10^{-8}$, and the safety constraint violation is $0$.

연구 동기 및 목표

• 블랙박스 신경망 동적 모델(NNDMs)을 위한 계산적으로 타당한 안전 제어 법칙 유도의 부족을 해결하기 위해.
• NNDM의 불확실성과 비선형성 존재하에서도 지속 가능한 타당성과 전방 불변성을 확보하기 위해.
• 제어 불변 안전 지수를 합성하고 온라인에서 최적의 안전 제어 입력을 계산하는 통합 프레임워크를 개발하기 위해.
• 복잡한 제약 조건 하에서 NNDM 기반 제어에 대해 최적성과 안전성 보장을 달성하기 위해.

제안 방법

• SIS(안전 지수 합성)는 전방 불변성을 보장하는 파라미터화된 안전 지수(장벽 함수)를 학습하기 위해 유전적 알고리즘을 사용한다.
• MIND(신경망 동적 모델을 위한 혼합정수)는 정확하고 완전하며 최적의 제어 계산을 가능하게 하기 위해 NNDM을 혼합정수프로그래밍(MIP)으로 표현한다.
• MIP 수식은 ReLU 활성화를 이원적 제약 조건으로 표현하여 NNDM의 비선형성과 블랙박스 성격을 효율적으로 다룬다.
• 안전 지수는 오프라인으로 최적화되어, 결과적으로 제어 입력이 지속 가능한 타당성을 유지하고 타당하지 않은 상태를 피하게 한다.
• 이 방법은 구성적으로 유한 시간 내에 사용자가 정의한 안전 영역으로 수렴하고 모든 안전 제약 조건을 만족한다.
• 프레임워크는 NNDM 및 안전 제약 조건을 준수하면서 추적 오차를 최소화하는 제약 조건이 있는 최적화 문제와 안전 지수를 통합한다.

실험 결과

연구 질문

• RQ1 분석적 역학에 의존하지 않고도 NNDMs에 대해 전방 불변성과 지속 가능한 타당성을 보장하는 안전 지수를 자동으로 합성할 수 있는가?
• RQ2 블랙박스이자 비선형적인 성격을 지닌 NNDMs에 대해 계산적으로 효율적이고 완전한 방법으로 최적의 안전 제어를 계산할 수 있는가?
• RQ3 MIP 인코딩과 유전적 최적화의 조합이 NNDM 제어에서 최적성과 안전성을 동시에 달성하는 방법은 무엇인가?
• RQ4 복잡한 시나리오에서 수동으로 설계된 안전 지수와 비교해 볼 때, 제안된 방법의 성능 갭과 안전 위반 비율은 어떠한가?

주요 결과

• 수치 검증에서 MIND-SIS는 제어 계산에서 $10^{-8}$ 이내의 최적성 갭을 달성하여 거의 완벽한 최적성을 나타낸다.
• 모든 테스트 시나리오에서 안전 제약 위반 없이 0%를 보이며, 다중 장애물 및 안전 추종 작업을 포함한다.
• 학습된 안전 지수($\phi^l$)는 100번의 랜덤 충돌 회피 작업에서 100% 성공률를 달성하여 원본($\phi_0$) 및 수동 조정된($\phi^h$) 지수를 모두 능가한다.
• 충돌 회피 및 안전 추종 작업 모두에서 학습된 안전 지수는 0%의 비타당한 상태 비율과 0%의 $\phi_0$ 위반 비율을 확보한다.
• 예상치 못한 다중 장애물 환경에서도 지속 가능한 타당성을 유지하여 일반화 능력을 입증한다.
• 이론적 분석은 MIND-SIS가 합성된 안전 지수 하에서 전방 불변성과 안전 영역으로의 유한 시간 내 수렴을 보장함을 확인한다.