[논문 리뷰] Reachability Analysis of Neural Network Control Systems

Chi Zhang, Wenjie Ruan외 1명|arXiv (Cornell University)|2023. 01. 28.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 리프시츠 최적화 기반의 뉴럴 네트워크 제어 시스템(NNCS)을 위한 새로운 검증 프레임워크인 DeepNNC를 제안한다. 루프 펼침과 제거를 통해 닫힌 루프 NNCS의 리프시츠 연속성을 증명함으로써, DeepNNC는 도달 가능 집합 분석을 블랙박스 최적화 문제로 간주하여, 이전 방법보다 다양한 활성화 함수와 더 긴 시간 범위에서 더 날카롭고 효율적인 도달 가능 집합 추정을 달성한다.

ABSTRACT

Neural network controllers (NNCs) have shown great promise in autonomous and cyber-physical systems. Despite the various verification approaches for neural networks, the safety analysis of NNCs remains an open problem. Existing verification approaches for neural network control systems (NNCSs) either can only work on a limited type of activation functions, or result in non-trivial over-approximation errors with time evolving. This paper proposes a verification framework for NNCS based on Lipschitzian optimisation, called DeepNNC. We first prove the Lipschitz continuity of closed-loop NNCSs by unrolling and eliminating the loops. We then reveal the working principles of applying Lipschitzian optimisation on NNCS verification and illustrate it by verifying an adaptive cruise control model. Compared to state-of-the-art verification approaches, DeepNNC shows superior performance in terms of efficiency and accuracy over a wide range of NNCs. We also provide a case study to demonstrate the capability of DeepNNC to handle a real-world, practical, and complex system. Our tool extbf{DeepNNC} is available at \url{https://github.com/TrustAI/DeepNNC}.

연구 동기 및 목표

• 다양한 활성화 함수를 다루고 과도한 근사 오차를 방지하는, 확장 가능하고 정확한 뉴럴 네트워크 제어 시스템(NNCS) 검증 방법의 부족을 해결하기 위해.
• NNCS의 내부 구조에 대한 액세스가 필요 없는 모델에 종속되지 않는 검증 프레임워크를 개발하기 위해.
• 오랜 시간 범위에 걸쳐 도달 가능 집합 추정을 더욱 날카롭고 효율적으로 하여 감싸는 효과(wrapping effect)와 오차 누적을 최소화하기 위해.
• 기본 모델과 실제 복잡한 시스템(예: 비행기 조종 제어 시스템) 모두에서 방법의 효과성을 입증하기 위해.

제안 방법

• 제어 시스템의 피드백 루프를 펼치고 제거하여 닫힌 루프 NNCS의 리프시츠 연속성을 증명한다.
• 리프시츠 최적화 기법을 사용하여 도달 가능 문제를 블랙박스 최적화 작업으로 공식화한다.
• 계산 효율성을 향상시키고 과도한 근사화를 줄이기 위해 동적 국소 리프시츠 최적화를 적용한다.
• 반복적 경계 정밀화를 통해 ε(허용 오차)와 k_max(최대 반복 횟수) 매개변수를 사용하여 도달 가능 집합 추정을 더욱 날카롭게 한다.
• 해당 접근법의 모델에 종속되지 않는 특성을 활용하여, 임의의 리프시츠 연속 제어기와 식물 동역학을 지원한다.
• 도달 가능 집합 추정의 기준값(proxy for ground truth)으로서 고급 격자 기반 근사화를 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 검증 프레임워크는 ReLU, 시그모이드, 탄젠트와 같은 다양한 활성화 함수에 대해 도달 가능 집합 추정을 날카롭고 효율적으로 수행할 수 있는가?
• RQ2 제안된 리프시츠 최적화 접근법은 기존 타일러 모델 기반 방법과 비교해 정확도와 시간에 따른 오차 누적 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 고차원 상태 공간을 가진 복잡한 실제 제어 시스템(예: 비행기)을 얼마나 잘 처리할 수 있는가?
• RQ4 ε와 k_max 매개변수는 도달 가능 집합 추정의 정밀도와 수렴에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 NNCS의 내부 아키텍처에 대한 액세스 없이 적용될 수 있으며, 이는 모델에 종속되지 않는다는 의미인가?

주요 결과

• DeepNNC는 Verisig 2.0, ReachNN*, Sherlock와 같은 최첨단 방법보다 더 날카로운 도달 가능 집합 추정을 달성하였으며, 다양한 벤치마크에서 일관되게 더 작은 면적을 기록하였다.
• DeepNNC의 추정된 도달 가능 집합 면적은 고급 격자 기반 근사화(기준값 프록시)보다 略로 크지만, 모든 기준 방법보다 크게 작아 높은 정밀도를 나타낸다.
• ε = 0.0005 및 k_max = 10^4일 때 DeepNNC는 가장 날카로운 추정을 생성하였으며, k_max를 더 높이거나 ε를 더 낮추면 정확도가 더욱 향상된다.
• DeepNNC는 비행기 사례 연구에서 위험한 동작을 성공적으로 식별하였으며, 시스템의 y 및 α 상태가 안전한 범위를 초과함을 확인하여 실제 적용 가능성에 대한 메서드의 유용성을 입증하였다.
• 이 방법은 장시간 범위에서 타일러 모델 기반 접근법에서 관찰되는 지수적 오차 누적 현상을 피하면서도 뛰어난 효율성과 정확도를 보였다.
• 비교 대상에서 DeepNNC는 유일하게 모델에 종속되지 않는 NNCS 검증 프레임워크로서, 내부 모델 액세스 없이도 높은 성능를 유지한다.