[논문 리뷰] Reachability Analysis and Safety Verification for Neural Network Control Systems

Weiming Xiang, Taylor T. Johnson|arXiv (Cornell University)|2018. 05. 25.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 42

한 줄 요약

이 논문은 피드포워드 신경망 컨트롤러의 출력을 과상 근사하기 위한 LP 기반 방법을 개발하고 이를 ODE 도달 가능성과 함께 사용하여 신경망 제어 시스템의 안전성을 검증합니다.

ABSTRACT

Autonomous cyber-physical systems (CPS) rely on the correct operation of numerous components, with state-of-the-art methods relying on machine learning (ML) and artificial intelligence (AI) components in various stages of sensing and control. This paper develops methods for estimating the reachable set and verifying safety properties of dynamical systems under control of neural network-based controllers that may be implemented in embedded software. The neural network controllers we consider are feedforward neural networks called multilayer perceptrons (MLP) with general activation functions. As such feedforward networks are memoryless, they may be abstractly represented as mathematical functions, and the reachability analysis of the network amounts to range (image) estimation of this function provided a set of inputs. By discretizing the input set of the MLP into a finite number of hyper-rectangular cells, our approach develops a linear programming (LP) based algorithm for over-approximating the output set of the MLP with its input set as a union of hyper-rectangular cells. Combining the over-approximation for the output set of an MLP based controller and reachable set computation routines for ordinary difference/differential equation (ODE) models, an algorithm is developed to estimate the reachable set of the closed-loop system. Finally, safety verification for neural network control systems can be performed by checking the existence of intersections between the estimated reachable set and unsafe regions. The approach is implemented in a computational software prototype and evaluated on numerical examples.

연구 동기 및 목표

• 신경망 컨트롤러가 지배하는 동적 시스템의 안전성 우려를 동기화하고 정식화한다.
• 제한된 입력이 주어졌을 때 MLP 출력을 과상 근사하는 실용적인 방법을 개발한다.
• 신경망 도달 가능성과 플랜트 도달 가능성 계산을 통합하여 폐루프 도달 가능성을 추정한다.
• 안전성 검증 절차를 unsafe 영역과의 교차 여부를 확인함으로써 제공한다.

제안 방법

• 신경망을 feedforward MLP를 통해 수학적 함수로 표현한다.
• 신경망 입력 공간을 초-직사각형의 합집합(초-직사각형 집합)으로 이산화한다.
• 활성화 단조성 가정 하에 각 초-직사각형에 대한 출력 추정을 선형 계획법(LP) 문제로 변환한다.
• MLP 계층별로 입력 과상 근사를 네트워크 레이어를 따라 전파하여 출력을 과상 근사로 얻는다.
• MLP 출력 과상 근사와 ODE/차Difference 방정식 도달 가능성 방법을 결합하여 시간 구간에 걸친 폐루프 도달 가능 집합을 추정한다.
• 안전성 검증을 안전하지 않은 영역과의 교차 여부를 확인하는 것으로 공식화한다.

실험 결과

연구 질문

• RQ1 제한된 입력에서 일반 활성 함수를 갖는 MLP의 출력 집합을 어떻게 과상 근사화할 수 있는가?
• RQ2 여러 계층에 걸쳐 MLP 출력 과상 근사치를 어떻게 전파하여 전체적으로 촘촘한 경계를 얻을 수 있는가?
• RQ3 MLP 도달 가능성과 전통적 플랜트 도달 가능성을 결합하여 폐루프 도달 가능 집합을 어떻게 추정할 수 있는가?
• RQ4 계산된 과상 근사에 의해 안전성을 Unsafe 영역과의 교차 여부를 확인함으로써 어떤 조건에서 검증할 수 있는가?

주요 결과

• 일반 활성 함수들을 가진 MLP의 출력 집합을 과상 근사하는 LP 기반 알고리즘이 개발되었다.
• 레이어-바이-레이어 접근 방식은 다층 네트워크에 단일 레이어 LP 결과를 적용할 수 있게 한다.
• 이 방법은 MLP 도달 가능성과 ODE/차 difference 방정식 도달 가능성을 결합하여 폐루프 도달 가능 집합의 계산 가능한 과상 근사를 생성한다.
• 추정된 도달 가능 집합과 Unsafe 영역 사이의 교차 여부를 검사하는 안전성 검증 절차가 제공된다.
• 계산적 프로토타입이 구현되어 수치 예제로 평가되어 적용 가능성을 입증한다.