[논문 리뷰] Reachable Set Estimation and Safety Verification for Piecewise Linear Systems with Neural Network Controllers

Weiming Xiang, Hoang-Dung Tran외 2명|arXiv (Cornell University)|2018. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 9

한 줄 요약

이 논문은 조각별 선형 시스템에서 ReLU 신경망 컨트롤러의 출력 가능 집합을 추정하기 위해 단계별 폴리토프 기반 방법을 제안한다. 가능 집합 계산을 폴리토프의 합집합에 대한 연산으로 공식화함으로써, 닫힌 루프 시스템에 대한 유한 시간 내 가능 집합 추정과 안전성 검증이 가능해지며, 이는 불안전 영역과의 교차 검사를 통해 이루어진다. 수치 예제에서 [0,5] 동안 안전성이 검증되었지만 [0,10] 동안는 불확실성이 존재함을 효과적으로 입증하였다.

ABSTRACT

In this work, the reachable set estimation and safety verification problems for a class of piecewise linear systems equipped with neural network controllers are addressed. The neural network is considered to consist of Rectified Linear Unit (ReLU) activation functions. A layer-by-layer approach is developed for the output reachable set computation of ReLU neural networks. The computation is formulated in the form of a set of manipulations for a union of polytopes. Based on the output reachable set for neural network controllers, the output reachable set for a piecewise linear feedback control system can be estimated iteratively for a given finite-time interval. With the estimated output reachable set, the safety verification for piecewise linear systems with neural network controllers can be performed by checking the existence of intersections of unsafe regions and output reach set. A numerical example is presented to illustrate the effectiveness of our approach.

연구 동기 및 목표

• 일반적으로 예측 불가능한 거동을 보이는 블랙박스로 간주되는 신경망으로 제어되는 조각별 선형 시스템에 대한 형식적 안전성 검증의 과제를 해결한다.
• 입력 변동에 대한 보장이 부족한 신경망 컨트롤러의 문제를 해결하기 위해, 닫힌 루프 시스템에 대한 도달 가능성 분석을 가능하게 한다.
• 먼저 ReLU 신경망 컨트롤러의 출력 가능 집합을 추정함으로써, 전체 닫힌 루프 시스템의 가능 집합을 계산 가능하게 하는 방법을 개발한다.
• 상태 공간 내 정의된 불안전 영역과의 교차 여부를 확인하여 가능 집합 추정 결과를 바탕으로 안전성 검증을 수행한다.
• 볼록각 초과근사와 다각형 연산을 사용하여 하이브리드 시스템에 신경망 컨트롤러를 갖는 경우에 대한 안전성 검증을 체계적으로 제공하는 프레임워크를 구축한다.

제안 방법

• ReLU 신경망의 출력 가능 집합 계산을 다각형 연산의 연속으로 공식화하며, 각 층의 출력을 다각형의 합집합으로 간주한다.
• 볼록각 초과근사를 사용하여 각 층의 출력 가능 집합을 계산함으로써, 보수적이지만 계산 가능하게 추정한다.
• 선형 변환과 활성화 제약 조건을 사용하여 입력 불확실성 집합을 각 ReLU 층을 거쳐 전파하는 단계별 전파 방법을 적용한다.
• 추정된 신경망 가능 집합을 닫힌 루프 조각별 선형 시스템의 동역학에 통합하여 유한 시간 간격 내 전체 시스템의 가능 집합을 계산한다.
• 이전 가능 집합에 시스템 동역학을 반복적으로 적용하여 닫힌 루프 시스템의 유한 시간 가능 집합을 추정하며, 초과근사를 유지하기 위해 볼록각을 사용한다.
• 추정된 가능 집합이 사전 정의된 불안전 영역과 교차하는지 여부를 확인하여 안전성 검증을 수행한다; 교차가 없으면 안전함을 의미한다.

실험 결과

연구 질문

• RQ1 닫힌 루프 시스템 분석에 사용하기 위해 ReLU 신경망 컨트롤러의 출력 가능 집합을 효율적이고 보수적으로 계산하는 방법은 무엇인가?
• RQ2 다각형 연산을 사용하여 ReLU 신경망 컨트롤러를 갖는 조각별 선형 시스템의 가능 집합을 유한 시간 간격 동안 추정할 수 있는가?
• RQ3 신경망 컨트롤러의 가능 집합과 전체 닫힌 루프 시스템의 가능 집합 간의 관계는 무엇인가?
• RQ4 가능 집합 추정을 통해 이러한 하이브리드 시스템에 대해 어떻게 형식적 안전성 검증을 수행할 수 있는가?
• RQ5 시뮬레이션 궤적들이 불안전 영역에 진입하지 않더라도, 제안된 방법은 잠재적인 불안전 행동을 어느 정도 탐지할 수 있는가?

주요 결과

• 제안된 방법은 단계별 폴리토프 연산 프레임워크를 사용하여 ReLU 신경망 컨트롤러의 출력 가능 집합을 성공적으로 계산하며, 보수적인 초과근사를 가능하게 한다.
• 닫힌 루프 조각별 선형 시스템의 가능 집합은 유한 시간 간격 [0,5]와 [0,10]에서 추정되었으며, 볼록각 기반 초과근사는 400개의 시뮬레이션 궤적을 모두 포괄한다.
• 안전성 검증 결과, ||x - [4,4]^T||_∞ ≤ 1로 정의된 불안전 영역과의 교차가 없기에 [0,5] 동안 시스템은 안전하다고 확인되었다.
• [0,10] 동안 추정된 가능 집합은 불안전 영역과 교차하므로, 시뮬레이션 궤적이 불안전 영역에 진입하지 않았음에도 불구하고 안전성이 보장되지 않음을 나타낸다.
• 이 방법은 시뮬레이션만으로는 발견하지 못할 수 있는 잠재적 안전 위험을 드러내며, 안전이 중요한 제어 시스템에서 형식적 가능 집합 추정의 가치를 입증한다.
• 수치 예제에서 2층 네트워크와 4개의 은닉 뉴런을 사용한 결과, 이 방법은 ReLU 기반 신경망 컨트롤러를 갖는 시스템에 대해 계산 가능하고 확장 가능한 것으로 나타났다.