[논문 리뷰] Verisig: verifying safety properties of hybrid systems with neural network controllers

Radoslav Ivanov, James Weimer외 3명|arXiv (Cornell University)|2018. 11. 05.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 37

한 줄 요약

Verisig는 시그모이드 기반 신경망 컨트롤러를 갖는 하이브리드 시스템의 안전성 성질을 검증하기 위한 새로운 접근법을 제안한다. 이는 시그모이드 함수가 정규화된 이차 미분방정식의 해임을 이용해 DNN을 등가의 하이브리드 시스템으로 변환함으로써 가능해진다. 이를 통해 식물 동역학과 조합이 가능해지고, Flow*와 같은 도구를 이용한 도달 가능성 분석을 통해 선형적 확장성과 깊이에 따른 결정 가능성을 달성하며, 한 층의 신경망에 대해서는 결정 가능성이 보장되고, 더 넓은 범위의 결정 가능성은 샤누엘의 추측에 기반한다.

ABSTRACT

This paper presents Verisig, a hybrid system approach to verifying safety properties of closed-loop systems using neural networks as controllers. Although techniques exist for verifying input/output properties of the neural network itself, these methods cannot be used to verify properties of the closed-loop system (since they work with piecewise-linear constraints that do not capture non-linear plant dynamics). To overcome this challenge, we focus on sigmoid-based networks and exploit the fact that the sigmoid is the solution to a quadratic differential equation, which allows us to transform the neural network into an equivalent hybrid system. By composing the network's hybrid system with the plant's, we transform the problem into a hybrid system verification problem which can be solved using state-of-the-art reachability tools. We show that reachability is decidable for networks with one hidden layer and decidable for general networks if Schanuel's conjecture is true. We evaluate the applicability and scalability of Verisig in two case studies, one from reinforcement learning and one in which the neural network is used to approximate a model predictive controller.

연구 동기 및 목표

• 신경망이 제어기로 사용되는 폐쇄형 사이버-물리 시스템에서 안전성 성질을 검증하는 데 도전하는 문제를 다루며, 특히 기존의 DNN 검증 기법이 비선형 식물 동역학으로 인해 실패할 경우에 대비한다.
• 기존의 SMT/MILP 기반 DNN 검증 도구의 한계를 극복하기 위해, 연속적이고 비선형적인 식물 동역학을 모델링할 수 없음을 해결한다.
• 시그모이드 기반 DNN를 그 미분방정식 성질을 이용해 등가의 하이브리드 시스템으로 변환함으로써, 하이브리드 시스템에서의 형식적 안전성 검증을 가능하게 한다.
• 강화학습과 모델 예측 제어 근사치를 포함한 실제 사례 연구를 통해 제안된 방법의 확장성과 적용 가능성을 평가한다.
• 샤누엘의 추측에 기반할 경우 일반 피드포워드 시그모이드 네트워크에 대한 검증 문제의 이론적 결정 가능성을 탐색한다.

제안 방법

• 시그모이드 활성화 함수가 특정 이차 미분방정식의 해임을 이용해, 각 뉴런을 연속 시간 동적 시스템으로 표현할 수 있음을 활용한다.
• L층과 각 층당 N개의 뉴런을 갖는 완전히 연결된 피드포워드 DNN을 L+1개의 모드와 층당 2N개의 상태를 갖는 하이브리드 시스템으로 변환한다.
• 결과로 얻어진 DNN 하이브리드 시스템을 연속 시간 식물 동역학과 조합하여 전체 폐쇄형 시스템을 나타내는 복합 하이브리드 시스템을 구성한다.
• dReach와 Flow*와 같은 최신 하이브리드 시스템 도달 가능성 도구를 적용하여 도달 가능한 상태 공간을 계산하고 안전성 성질을 검증한다.
• 비선형 동역학을 다루기 위해 Flow*에서 조각별 선형 근사를 사용하며, 근사 오차는 사용된 선형 조각 수에 의해 제한된다.
• 비교를 위한 기준으로 MILP 기반 검증을 사용하며, 시그모이드 함수당 100개의 선형 조각을 사용하여 근사 정확도를 유사하게 유지한다.

실험 결과

연구 질문

• RQ1 비선형 식물 동역학으로 인해 기존의 DNN 검증 기법이 실패할 경우, 시그모이드 기반 신경망 컨트롤러를 갖는 하이브리드 시스템의 안전성 성질을 형식적으로 검증할 수 있는가?
• RQ2 시그모이드 기반 DNN를 그 미분방정식 성질을 이용해 등가의 하이브리드 시스템으로 표현할 수 있는가?
• RQ3 제안된 변환 방법이 기존의 도달 가능성 도구를 이용해 깊은 네트워크의 확장 가능한 검증을 가능하게 하는가?
• RQ4 일반적인 피드포워드 시그모이드 네트워크에 대해 검증 문제가 어떤 수학적 가정 하에 결정 가능한가?
• RQ5 Verisig의 확장성은 깊은 네트워크에서 기존의 MILP 기반 DNN 검증 방법과 비교해 어떻게 되는가?

주요 결과

• Verisig는 네트워크 층 수에 대해 선형적 확장성을 달성한다. 각 층(모드)에서 동일한 도달 가능성 계산이 수행되기 때문에 깊은 네트워크의 검증이 가능해진다.
• MILP 기반 방법은 이진 변수의 조합 폭발로 인해 깊이가 증가함에 따라 런타임이 지수적으로 증가하여 더 깊은 네트워크에서는 실현 불가능해진다.
• 얕은 네트워크(적은 층 수)에서는 MILP 기반 방법이 더 빠르지만, 문제의 구조에 매우 민감하며, 9층 네트워크의 런타임이 8층 네트워크보다 빠른 것으로 나타나, 성능이 구조적 요인에 크게 영향을 받는다.
• Verisig+Flow*는 두 층에서 열 층까지의 다양한 네트워크 깊이와 16에서 128개의 뉴런까지의 넓이에 걸쳐 예측 가능하고 확장 가능한 성능을 보였다.
• 한 층의 은닉층을 갖는 DNN에 대해서는 검증 문제가 결정 가능하며, 샤누엘의 추측이 참이라면 일반 네트워크에 대해서도 결정 가능하다.
• Flow*에서 사용된 거친 조각별 선형 근사는 실질적으로 의미 있는 오차를 유발하지 않아, 간단함에도 불구하고 시그모이드 동역학에 잘 맞는 것으로 나타났다.