[논문 리뷰] Reach-SDP: Reachability Analysis of Closed-Loop Systems with Neural Network Controllers via Semidefinite Programming

Haimin Hu, Mahyar Fazlyab외 2명|arXiv (Cornell University)|2020. 04. 16.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 6

한 줄 요약

이 논문은 신경망 제어기를 갖는 선형 시간변동 시스템의 정방향 도달 가능 분석을 위한 새로운 보조정형계획법 기반 방법인 Reach-SDP를 제안한다. 비선형 활성화 함수와 투영 연산자를 이차 제약 조건으로 추상화함으로써, 도달 가능한 집합의 외부 근사치를 계산하여 유한 시간 내의 안전성 및 제약 조건 충족 검증을 가능하게 한다. 이는 이러한 시스템에 대해 처음으로 출시된 볼록 최적화 기반 접근법으로, 이중 적분기 및 6차원 드론 모델을 대상으로 검증되었다.

ABSTRACT

There has been an increasing interest in using neural networks in closed-loop control systems to improve performance and reduce computational costs for on-line implementation. However, providing safety and stability guarantees for these systems is challenging due to the nonlinear and compositional structure of neural networks. In this paper, we propose a novel forward reachability analysis method for the safety verification of linear time-varying systems with neural networks in feedback interconnection. Our technical approach relies on abstracting the nonlinear activation functions by quadratic constraints, which leads to an outer-approximation of forward reachable sets of the closed-loop system. We show that we can compute these approximate reachable sets using semidefinite programming. We illustrate our method in a quadrotor example, in which we first approximate a nonlinear model predictive controller via a deep neural network and then apply our analysis tool to certify finite-time reachability and constraint satisfaction of the closed-loop system.

연구 동기 및 목표

• 신경망 제어기를 갖는 피드백 루프 시스템에서 공식적인 안전성 및 안정성 보장을 제공하지 못하는 문제를 해결하기 위해.
• 비선형성과 제어 제약 조건을 다룰 수 있는 확장 가능한 볼록 최적화 기반의 도달 가능성 분석 방법을 개발하기 위해.
• 신경망 제어 동적 시스템에서 안전성 및 제약 조건 충족을 유한 시간 내에 검증할 수 있도록 하기 위해.
• 투영 연산자와 섹터 유계/기울기 제한 비선형성을 포함한 시스템으로 도달 가능성 분석을 확장하기 위해.
• 복잡한 비선형 제어 시스템에 대해 정확한 도달 가능성 방법의 계산 가능 대체 방법을 제공하기 위해.

제안 방법

• 비선형 활성화 함수와 제어 투영 연산자를 이차 제약 조건(QC)으로 추상화하여 시스템 동역학의 볼록 근사를 가능하게 한다.
• 도달 가능한 집합 계산을 보조정형계획문제(SDP)로 공식화하며, S-절차와 동치 변환을 활용하여 시스템의 구조를 유지한다.
• 신경망의 입력-출력 행동을 표현하기 위해 상태, 활성화, 제어 변수를 조합한 기저 벡터를 사용한다.
• 섹터 유계 및 기울기 제한 비선형성 조건을 적용하여 ReLU 및 기타 활성화 함수의 행동을 볼록 제약 조건 내에서 근사한다.
• 단일 SDP를 풀어 외부 근사치를 계산함으로써 반복적인 플로우 파이프 구성이나 조각별 다항식 근사치를 피한다.
• 선형 시간변동 동역학과 볼록 제약 조건을 갖는 제어 입력(상태 및 액추атор 제한 포함)을 지원한다.

실험 결과

연구 질문

• RQ1 이차 제약 조건을 사용하여 신경망 제어기의 비선형 활성화 함수와 투영 연산자를 추상화하여 볼록 도달 가능성 분석을 가능하게 할 수 있는가?
• RQ2 보조정형계획법을 어떻게 활용하여 신경망 제어기를 갖는 피드백 루프 시스템의 도달 가능한 집합의 외부 근사치를 계산할 수 있는가?
• RQ3 이 방법은 정확한 방법이나 조각별 다항식 방법과 비교해 안전성 및 제약 조건 충족 검증에서 정확도와 확장성 측면에서 어떻게 성능을 내는가?
• RQ4 이 방법은 복잡한 비선형 동역학과 제어 제약 조건을 갖는 시스템에서 유한 시간 내 도달 가능성과 제약 조건 충족을 검증할 수 있는가?
• RQ5 이 방법은 학습된 제어기를 갖는 드론과 같은 실제 제어 시스템에 얼마나 널리 적용될 수 있는가?

주요 결과

• Reach-SDP는 이중 적분기 시스템에 대해 정방향 도달 가능한 집합의 외부 근사치를 성공적으로 계산하였으며, 타원형 집합에 포함된 모든 초기 상태가 1초 이내에 목표 영역에 도달하고 상태 제약 조건을 만족함을 검증하였다.
• 6차원 드론 모델의 경우, 타원형 집합 𝒳₀에 포함된 모든 초기 상태가 (px, py, pz)-공간 내 1초 이내에 목표 집합 𝒢에 도달하며, 상태 및 액추атор 제약 조건을 모두 충족함을 검증하였다.
• 정확한 시스템 모델이 필요로 하지 않으며, 비선형 MPC 제어기를 근사하는 학습된 신경망 정책에 의존하였다.
• 계산된 도달 가능한 집합은 진짜 도달 가능한 집합을 외부 근사하였으며, 그림 3 및 4의 시각적 비교를 통해 보수적이지만 타당한 과대 근사임을 확인하였다.
• 이 방법은 복잡한 제어 제약 조건과 비선형 동역학을 갖는 고차원 시스템(6차원 드론)에서도 확장성과 계산 가능성을 입증하였다.
• 이것은 피드백 루프 시스템에 대해 신경망 제어기를 갖는 도달 가능성 분석을 위한 첫 번째 볼록 최적화 기반 방법으로, 학습된 제어 정책의 공식적 검증으로 향한 중요한 단계를 제공한다.