[논문 리뷰] Safety Verification of Neural Network Controlled Systems

Arthur Clavière, Eric Asselin외 2명|arXiv (Cornell University)|2020. 11. 10.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 23

한 줄 요약

이 논문은 신경망 제어 시스템을 위한 시스템 수준의 안전성 검증 프레임워크를 제안한다. 물리적 동역학에 대해 검증된 시뮬레이션과 신경망 제어기의 추상 해석을 조합하여 타당한 도달 가능성 분석을 수행한다. ACAS Xu 사례에 적용하여 12일 내에 초기 상태의 90.3%에 대해 안전성을 입증하며, 시스템의 약점과 제어기 행동에 대한 실질적인 통찰을 제공한다.

ABSTRACT

In this paper, we propose a system-level approach for verifying the safety of neural network controlled systems, combining a continuous-time physical system with a discrete-time neural network based controller. We assume a generic model for the controller that can capture both simple and complex behaviours involving neural networks. Based on this model, we perform a reachability analysis that soundly approximates the reachable states of the overall system, allowing to achieve a formal proof of safety. To this end, we leverage both validated simulation to approximate the behaviour of the physical system and abstract interpretation to approximate the behaviour of the controller. We evaluate the applicability of our approach using a real-world use case. Moreover, we show that our approach can provide valuable information when the system cannot be proved totally safe.

연구 동기 및 목표

• 신경망 수준에서 종합적인 사양이 부재함으로 인해 신경망 제어 시스템에 대한 공식적인 안전성 검증 방법이 부족한 문제를 해결하기 위해.
• 기존 소프트웨어 기준에 부합하거나 항목 수준의 정밀 조정이 필요하지 않은 복잡한 실세계 시스템(예: ACAS Xu)에 대해 공식적인 안전성 증명을 제공하기 위해.
• 사전 및 사후 처리를 포함한 다중 컴포넌트 신경망 제어기 모델을 포괄하는 일반적이고 확장 가능한 모델을 개발하기 위해.
• 완전한 안전성 증명이 불가능한 경우에도 불안전 영역을 식별하고 설명 가능한 통찰을 제공함으로써 실질적인 안전성 평가를 가능하게 하기 위해.

제안 방법

• 연속 시간 물리 시스템과 이산 시간 신경망 제어기(사전 및 사후 처리 구성 요소 포함)를 통합한 일반적인 시스템 모델을 제안한다.
• 물리 시스템의 도달 가능한 상태를 시간에 따라 타당하게 근사하기 위해 검증된 수치 적분을 사용한다.
• 정확한 의미가 계산 불가능하므로, 신경망 제어기의 출력 집합을 초과 근사함으로써 타당성을 확보한다.
• 물리 시스템의 진화와 제어기 추상화를 결합하여 도달 가능한 집합을 반복적으로 계산함으로써 전체 시스템의 도달 가능성 분석을 수행한다.
• 초기 기호 상태에서 안전성이 입증되지 않을 경우 커버리지를 향상시키기 위해 기호 상태의 분할 및 반복적 분할 정밀 조정을 사용한다.
• 계산 복잡성을 관리하기 위해 임계값 기반의 잘라내기 전략을 사용하며, 사전 정의된 한계를 초과하는 기호 상태는 기각한다.

실험 결과

연구 질문

• RQ1 伝통적인 항목 수준의 검증이 적용되지 않는 상황에서, 시스템 수준의 접근 방식이 신경망 제어 시스템에 대해 타당한 안전성 보장을 제공할 수 있는가?
• RQ2 연속 시간 물리 시스템과 이산 시간 신경망 제어기 간의 상호작용을 안전성 검증을 위해 공식적으로 모델링할 수 있는가?
• RQ3 완전한 안전성이 입증되지 않는 경우에도, 도달 가능성 분석이 실세계 시스템(예: ACAS Xu)에 실질적으로 적용 가능한가?
• RQ4 완전한 증명이 없는 상황에서도 안전성 검증 결과를 어떻게 이해 가능하고 시스템 개선에 유용하게 만들 수 있는가?

주요 결과

• 제안된 방법은 ACAS Xu 사례에서 초기 상태 공간의 90.3%에 대해 안전성을 입증하여 90.3%의 커버리지를 달성했다.
• 도달 가능성 분석은 표준 서버(24개 스레드, 64GB RAM)에서 약 12일이 소요되었다.
• 침입자가 왼쪽 또는 오른쪽에서 접근할 경우(즉, x₀ < 0 ∧ y₀ > 0 또는 x₀ > 0 ∧ y₀ > 0)가 가장 도전적인 검증 작업이었으며, 이 경우 커버리지는 약 75%로 떨어지고 계산 시간은 약 5×10⁴초에 이르렀다.
• 커버리지와 계산 시간 모두 x₀ = 0 축을 기준으로 대칭을 보였으며, 이는 충돌 회피 문제의 물리적 대칭성과 일치했다.
• 안전성이 입증되지 않는 특정 초기 상태 영역을 식별하여, 이에 대한 타겟된 재학습 또는 제어기 전환 전략 수립이 가능했다.
• 이 방법은 제어기 행동에 대한 설명 가능한 통찰을 제공하여, 핵심 운영 시나리오와 시스템 설계의 잠재적 약점을 식별할 수 있었다.