[논문 리뷰] Reachable Set Estimation for Neural Network Control Systems: A Simulation-Guided Approach

Weiming Xiang, Hoang-Dung Tran외 2명|arXiv (Cornell University)|2020. 04. 26.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 일반적인 활성화 함수를 가진 피드포워드 신경망의 도달 가능 집합을 과추정하기 위한 시뮬레이션 유도, 구간 산술 기반 방법을 제안하며, 이는 닫힌 루프 신경망 제어 시스템의 안전성 검증을 효율적으로 가능하게 한다. 시뮬레이션 유도 출력 집합 추정과 미분방정식 도달 가능성 분석을 통합함으로써, 이전 방법 대비 계산 비용을 97% 감소시켰고, 로봇 암 및 적응형 크루즈 컨트롤 시스템에서 안전성 검증에 성공하였다.

ABSTRACT

The vulnerability of artificial intelligence (AI) and machine learning (ML) against adversarial disturbances and attacks significantly restricts their applicability in safety-critical systems including cyber-physical systems (CPS) equipped with neural network components at various stages of sensing and control. This paper addresses the reachable set estimation and safety verification problems for dynamical systems embedded with neural network components serving as feedback controllers. The closed-loop system can be abstracted in the form of a continuous-time sampled-data system under the control of a neural network controller. First, a novel reachable set computation method in adaptation to simulations generated out of neural networks is developed. The reachability analysis of a class of feedforward neural networks called multilayer perceptrons (MLP) with general activation functions is performed in the framework of interval arithmetic. Then, in combination with reachability methods developed for various dynamical system classes modeled by ordinary differential equations, a recursive algorithm is developed for over-approximating the reachable set of the closed-loop system. The safety verification for neural network control systems can be performed by examining the emptiness of the intersection between the over-approximation of reachable sets and unsafe sets. The effectiveness of the proposed approach has been validated with evaluations on a robotic arm model and an adaptive cruise control system.

연구 동기 및 목표

• 대부분의 신경망 제어 시스템에서의 안전성 검증 문제를 해결하기 위해, 적대적 공격에 대한 강건성과 블랙박스 성격으로 인한 도전 과제를 해결한다.
• 일반적인 활성화 함수를 가진 다층 퍼셉트론(MLP)의 출력 도달 가능 집합에 대해 효율적이고 타당한 과추정을 개발한다.
• 신경망 도달 가능성 분석과 연속 시간 동적 시스템 분석을 통합하여 닫힌 루프 안전성 검증을 수행한다.
• 도달 가능 집합 추정의 계산 비용을 줄이면서도 타당성과 정확성을 유지한다.
• 로봇 암 및 적응형 크루즈 컨트롤과 같은 실제 제어 시스템에서 방법을 검증한다.

제안 방법

• 시뮬레이션 유도 접근법을 개발하여, 구간 산술과 민감도 분석을 활용해 피드포워드 신경망의 출력 도달 가능 집합을 과추정한다.
• 시뮬레이션을 기반으로 최대 민감도를 바탕으로 네 가지 볼록 최적화 문제로 출력 집합 추정을 수식화하며, 불필요한 계산을 방지한다.
• 연속 시간 동역학에 대해서는, 샘플링 간격에서 ODE 도달 가능성 분석을 수행하기 위해 CORA를 사용한다.
• 신경망 출력 과추정과 ODE 도달 가능성 분석을 재귀 알고리즘으로 통합하여 닫힌 루프 시스템의 도달 가능 집합을 계산한다.
• 과추정된 도달 가능 집합과 비안전 집합 간의 교차 여부를 확인함으로써 안전성 검증을 수행한다.
• 시뮬레이션 유도와 구간 기반 신경망 분석을 통합한 샘플드레인 신경망 제어기 모델에 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 활성화 함수를 가진 피드포워드 신경망의 출력 도달 가능 집합을 효율적으로 과추정할 수 있는 시뮬레이션 유도 방법이 존재하는가?
• RQ2 신경망 도달 가능 집합 추정의 계산 비용을 타당성을 유지하면서 어떻게 줄일 수 있는가?
• RQ3 제안된 방법이 닫힌 루프 신경망 제어 시스템의 효과적인 안전성 검증을 가능하게 하는가?
• RQ4 효율성과 정확성 측면에서 이전의 시뮬레이션 기반 접근 방식에 비해 어느 정도 성능 향상을 이룰 수 있는가?
• RQ5 로봇 암 및 적응형 크루즈 컨트롤과 같은 실제 제어 시스템에서 이 방법은 얼마나 잘 스케일업되고 안전성 검증이 가능한가?

주요 결과

• 제안된 시뮬레이션 유도 방법은 로봇 암 사례에서 이전의 시뮬레이션 기반 접근 방식 [10]에 비해 동일한 구간 도달 가능성 결과를 얻기 위해 계산 비용을 단 3%로 줄였다.
• 이 방법은 적응형 크루즈 컨트롤 시스템에서 안전성 검증에 성공하여, 5초 동안 상대 거리가 안전 기준을 초과함을 보였다.
• ACC 시스템에서 선도 차량과 자기 차량의 도달 가능 집합 추정 결과를 시각화하여, 비안전 영역과의 교차가 없음을 확인하였다.
• 구간 산술과 시뮬레이션 유도를 통합함으로써 닫힌 루프 시스템의 도달 가능 집합을 과추정함으로써 타당한 안전성 검증을 가능하게 하였다.
• 이 방법은 다양한 활성화 함수에 일반적으로 적용 가능하며, ReLU 네트워크 및 기타 아키텍처로의 확장 가능성도 있다.
• 구현 코드는 https://github.com/xiangweiming/ignnv 에 공개되어 있어 재현성과 향후 연구를 지원한다.