[논문 리뷰] Efficient Formal Safety Analysis of Neural Networks

Shiqi Wang, Kexin Pei외 3명|arXiv (Cornell University)|2018. 09. 19.

Adversarial Robustness in Machine Learning인용 수 188

한 줄 요약

Neurify는 신경망의 안전 속성을 형식적으로 검증하기 위해 기호적 선형 이완과 방향성 제약 정교화를 도입하고, 10,000개가 넘는 ReLU를 가진 네트워크로 확장 가능하며 Reluplex와 ReluVal보다 수십 배의 성능 우위를 보인다.

ABSTRACT

Neural networks are increasingly deployed in real-world safety-critical domains such as autonomous driving, aircraft collision avoidance, and malware detection. However, these networks have been shown to often mispredict on inputs with minor adversarial or even accidental perturbations. Consequences of such errors can be disastrous and even potentially fatal as shown by the recent Tesla autopilot crash. Thus, there is an urgent need for formal analysis systems that can rigorously check neural networks for violations of different safety properties such as robustness against adversarial perturbations within a certain $L$-norm of a given image. An effective safety analysis system for a neural network must be able to either ensure that a safety property is satisfied by the network or find a counterexample, i.e., an input for which the network will violate the property. Unfortunately, most existing techniques for performing such analysis struggle to scale beyond very small networks and the ones that can scale to larger networks suffer from high false positives and cannot produce concrete counterexamples in case of a property violation. In this paper, we present a new efficient approach for rigorously checking different safety properties of neural networks that significantly outperforms existing approaches by multiple orders of magnitude. Our approach can check different safety properties and find concrete counterexamples for networks that are 10$ imes$ larger than the ones supported by existing analysis techniques. We believe that our approach to estimating tight output bounds of a network for a given input range can also help improve the explainability of neural networks and guide the training process of more robust neural networks.

연구 동기 및 목표

• 신경망을 사용하는 안전이 중요한 영역에서 형식적 안전 분석의 필요성을 제시한다.
• 신경망의 안전 속성을 검증하거나 반례를 찾기 위한 정확하고 확장 가능한 방법을 개발한다.
• 경계의 과대 추정(overestimation)을 줄여 이전 방법들보다 훨씬 큰 네트워크에 대한 분석을 가능하게 한다.
• 다양한 속성, 데이터셋, 아키텍처에 걸친 Neurify의 성능을 선보인다.

제안 방법

• 출력 경계를 더 촘촘히 하기 위해 기호 구간 분석과 선형 이완을 결합한 기호적 선형 이완을 도입한다.
• 이완 과정에서 과대 추정된 노드를 식별하고 방향성 제약 정교화를 통해 정밀화한다.
• 과대 추정된 노드를 우선순위화하고 분할하여 전체 열거 없이 출력 범위를 좁힌다.
• 선형 해석기(때로는 이차 제약식 포함)를 사용해 안전 속성을 검사하고 반례를 생성한다.
• 실제 네트워크를 실행하여 반례를 확인하거나 경계치를 더 좁히며 해석기 결과를 반복적으로 검증한다.
• 입력 섭동(L-infinity, L1, L2)에 의해 정의된 안전 속성과 분류 간 출력 불변성을 검사한다.

실험 결과

연구 질문

• RQ1 확장 가능한 형식 분석 프레임워크가 이전보다 더 큰 신경망에 대해 다중 안전 속성을 검증할 수 있는가?
• RQ2 기호적 선형 이완이 이전의 구간 방법에 비해 과대 추정을 얼마나 줄이는가?
• RQ3 지시된 제약 정교화가 큰 네트워크에서도 경계를 신뢰성 있게 좁히고 구체적 반례를 제시하는가?
• RQ4 다양한 데이터셋과 아키텍처에 대해 Neurify의 성능이 Reluplex 및 ReluVal에 비해 어떤가?

주요 결과

• Neurify는 10,000개가 넘는 ReLU를 가진 네트워크를 분석하며 이전 방법들보다 수십 배의 규모로 우수하다.
• 평균적으로 Neurify는 Reluplex보다 5,000배 더 빠르고 ReluVal보다 20배 더 빠르다.
• 이 방법은 기존 기법이 지원하는 네트워크의 10배에 달하는 규모로 확장된다.
• Neurify는 다섯 개의 데이터셋에서 학습된 아홉 개 네트워크에 대해 여섯 가지 속성 유형의 안전 속성을 평가했다.
• 시스템은 구체적 반례와 촘촘한 출력 경계를 보여주어 강건성 및 설명가능성을 돕었다.