[논문 리뷰] Reachable Set Computation and Safety Verification for Neural Networks with ReLU Activations

Weiming Xiang, Hoang-Dung Tran외 1명|arXiv (Cornell University)|2017. 12. 21.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 70

한 줄 요약

논문은 ReLU 신경망에 대해 정확한 출력 도달 가능 집합을 층별로 계산하는 방법을 개발하고, 이를 다면체의 합집합으로 표현한 다음 비안전한 출력 영역에 대한 안전성 검증에 이용한다.

ABSTRACT

Neural networks have been widely used to solve complex real-world problems. Due to the complicate, nonlinear, non-convex nature of neural networks, formal safety guarantees for the output behaviors of neural networks will be crucial for their applications in safety-critical systems.In this paper, the output reachable set computation and safety verification problems for a class of neural networks consisting of Rectified Linear Unit (ReLU) activation functions are addressed. A layer-by-layer approach is developed to compute output reachable set. The computation is formulated in the form of a set of manipulations for a union of polyhedra, which can be efficiently applied with the aid of polyhedron computation tools. Based on the output reachable set computation results, the safety verification for a ReLU neural network can be performed by checking the intersections of unsafe regions and output reachable set described by a union of polyhedra. A numerical example of a randomly generated ReLU neural network is provided to show the effectiveness of the approach developed in this paper.

연구 동기 및 목표

• 안전이 중요한 시스템에서 신경망에 대한 형식적 안전 보장을 제시한다.
• ReLU 활성화를 갖는 네트워크의 출력 도달 가능 집합을 층별로 계산하는 방법을 개발한다.
• 정확한 안전성 검증을 가능하게 하도록 도달 가능 집합을 다면체의 합집합으로 표현한다.
• 도달 가능 집합과 비안전 영역 간의 교집합 여부를 확인함으로써 안전성 검증을 가능하게 한다.

제안 방법

• 네트워크를 ReLU 활성화를 갖는 다층 퍼셈트론으로 모델링하고 각 층의 매핑을 표현한다.
• ReLU 출력 집합이 세 가지 경우(양수, 0, 혼합)로 분해되어 다면체의 합집합으로 귀결됨을 보인다.
• 각 층의 출력 집합을 다면체의 합집합으로 나타내는 닫힌 형식의 구성들을 도출한다.
• 단층 결과를 재귀적 합성으로 다층 네트워크에 확장하여 다면체의 합집합 구조를 보존한다.
• 안전성 검증을 도달 가능 집합과 비안전 영역 간의 교집합이 비어 있는지 확인하는 문제로 공식화한다.
• 출력 도달 집합 계산, ReLU 네트워크 도달 가능성, VeriReLU 네트워크 검증에 대한 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 입력 집합이 다면체의 합집합으로 주어질 때, ReLU 신경망의 출력 도달 가능 집합을 어떻게 계산할 수 있는가?
• RQ2 도달 가능 집합을 층 전체에 걸쳐 정확히 다면체의 합집합으로 특징짓는 것이 가능하여 건전한 안전성 검증을 가능하게 하는가?
• RQ3 출력 도달 가능 집합과 비안전 영역 간의 교집합을 확인하여 안전성 검증을 수행하는 방법은?
• RQ4 네트워크를 통해 다루기 쉬운 다면체 표현을 유지하기 위한 층별 제약과 변환은 무엇인가?
• RQ5 이 접근법이 단일 ReLU 유닛에서 다층 네트워크로 어떻게 확장되는가?

주요 결과

• ReLU의 출력은 세 가지 경우의 합집합으로 정확히 특징지어질 수 있으며, 이로써 도달 가능 집합은 다면체의 합집합이 된다.
• 다면체의 합집합으로 기술된 입력 집합에 대해 ReLU 출력 도달 가능 집합은 각 분기마다 다면체의 합집합이다.
• 층별 전파는 다면체의 합집합 구조를 보존하여 전체 네트워크의 정확한 도달 가능성을 가능하게 한다.
• 안전성 검증은 출력 도달 가능 집합과 비안전 영역 간의 교집합 여부를 확인하는 것으로 축약되며, 정확한 도달 가능성에 의해 타당한 결론이 보장된다.
• 이 프레임워크는 다층 네트워크로 일반화되며 같은 형식으로 선형(비-ReLU) 계층도 처리할 수 있다.