[논문 리뷰] Safety Guarantees for Neural Network Dynamic Systems via Stochastic Barrier Functions

Rayan Mazouz, Karan Muvvala외 3명|arXiv (Cornell University)|2022. 06. 15.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 확률적 장벽 함수를 사용한 볼록 최적화 기반 프레임워크를 제안하여 신경망 동적 모델(NNDMs)에 대한 안전성 보장을 제공한다. 신경망의 조각별 선형 근사와 제곱합(SOS) 최적화를 활용하여 안전성 확률의 하한을 계산하고, 필요에 따라 선형 프로그래밍을 통해 최소한의 간섭을 유도하는 제어기를 합성함으로써 안전성을 향상시키며, 수백 개의 뉴런을 가진 다차원 NNDMs에 대해서도 확장 가능함을 보여준다.

ABSTRACT

Neural Networks (NNs) have been successfully employed to represent the state evolution of complex dynamical systems. Such models, referred to as NN dynamic models (NNDMs), use iterative noisy predictions of NN to estimate a distribution of system trajectories over time. Despite their accuracy, safety analysis of NNDMs is known to be a challenging problem and remains largely unexplored. To address this issue, in this paper, we introduce a method of providing safety guarantees for NNDMs. Our approach is based on stochastic barrier functions, whose relation with safety are analogous to that of Lyapunov functions with stability. We first show a method of synthesizing stochastic barrier functions for NNDMs via a convex optimization problem, which in turn provides a lower bound on the system's safety probability. A key step in our method is the employment of the recent convex approximation results for NNs to find piece-wise linear bounds, which allow the formulation of the barrier function synthesis problem as a sum-of-squares optimization program. If the obtained safety probability is above the desired threshold, the system is certified. Otherwise, we introduce a method of generating controls for the system that robustly maximizes the safety probability in a minimally-invasive manner. We exploit the convexity property of the barrier function to formulate the optimal control synthesis problem as a linear program. Experimental results illustrate the efficacy of the method. Namely, they show that the method can scale to multi-dimensional NNDMs with multiple layers and hundreds of neurons per layer, and that the controller can significantly improve the safety probability.

연구 동기 및 목표

• 신경망 동적 모델(NNDMs)에 대한 공식적인 안전성 보장이 부족한 문제를 해결하기 위해, 널리 사용되지만 안전성 검증이 부족한 NNDMs에 대한 안전성 보장을 제공한다.
• 경로 전개가 필요 없이 NNDMs에 대한 궤적 안전성 확률의 하한을 계산하는 방법을 개발한다.
• 인증에 실패했을 때 안전성 확률을 강력하게 향상시키는 최소한의 간섭을 유도하는 제어 합성 전략을 설계한다.
• 다중층과 레이어당 수백 개의 뉴런을 가진 고차원 NNDMs에 대한 확장 가능성을 확보한다.
• 볼록 최적화를 사용하여 안전성 인증과 제어 합성의 통합이 보장되는 정확한 설계 프레임워크를 제공한다.

제안 방법

• 안전성 보장을 확률적 장벽 함수를 통해 기술하며, 음이 아닌 초마팅게일 성질을 통해 안전 영역의 전방 불변성을 보장한다.
• 최근의 볼록 근사 기법을 활용하여 신경망 동역학에 대한 조각별 선형 경계를 유도함으로써 장벽 함수 합성 문제의 볼록 완화를 가능하게 한다.
• 장벽 함수 합성을 제곱합(SOS) 최적화 문제로 재구성하여 효율적인 볼록 솔버로 해결할 수 있도록 한다.
• 안전성 확률이 임계값 이하로 떨어지면, 장벽 함수의 볼록성에 기반하여 최적의 제어 합성을 선형 프로그래밍 문제로 재구성한다.
• 신경망의 간격 및 선형 경계를 활용하여 동역학의 보수적인 하한 및 상한 근사치를 계산함으로써 강건한 안전성 분석을 수행한다.
• 높은 위험 영역(높은 βq)에서만 작동하는 최소한의 간섭을 유도하는 제어기를 도입하여 불필요한 제어 개입을 감소시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 반복 예측을 가진 NNDMs에 대해 확률적 장벽 함수를 효과적으로 적응시켜 공식적인 안전성 보장을 제공할 수 있는가?
• RQ2 신경망의 비선형성에도 불구하고 NNDMs에 대한 확률적 장벽 함수 합성을 어떻게 볼록 최적화 문제로 축소할 수 있는가?
• RQ3 신경망의 조각별 선형 근사가 고차원 NNDMs에 대한 확장 가능한 안전성 검증을 얼마나 잘 가능하게 하는가?
• RQ4 최소한의 간섭을 유도하는 제어기를 합성하여 안전성 확률을 강력하게 향상시키고 시스템 성능을 유지할 수 있는가?
• RQ5 이산화의 선택(|Q|)이 안전성 확률 정확도와 계산 비용 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 1층 Cartpole 모델의 경우, |Q|를 960에서 3840으로 증가시켰더니 안전성 확률이 0.375에서 0.599로 상승했지만, 계산 시간은 12배 이상 증가했다.
• 2개의 은닉층을 가진 4차원 Husky 모델의 경우, |Q|를 1800에서 4800으로 증가시켰더니 안전성 확률이 0.010에서 0.384로 상승했고, 계산 시간은 5배 이상 증가했다.
• 선형 경계를 사용한 결과, 모든 NNDMs에서 안전성 확률 ≥0.95를 달성했으며, 두 모델 제외: 4차원 Husky (2층, |Q|=1800)와 1층 5차원 Husky (|Q|=432)에서 각각 P_s를 0.010에서 0.800, 0.000에서 0.949로 상승시켰다.
• 2층 펜듈럼 NNDM의 경우, 제어기 개입 비율이 |Q|=120일 때 100%에서 |Q|=480일 때 23.75%로 감소하여 최소한의 간섭 행동을 보였다.
• 모든 사례에서 제어기는 βq 파rameter를 10^-6으로 낮춰 안전성 위반에 대한 높은 강건성을 나타냈다.
• 프레임워크는 강화학습으로 훈련된 벤치마크를 기반으로 검증되었으며, 다중층과 레이어당 수백 개의 뉴런을 가진 다차원 NNDMs에 대해 성공적으로 확장 가능함을 입증했다.