[논문 리뷰] Branch and Bound for Piecewise Linear Neural Network Verification

Rudy Bunel, Jingyue Lu외 4명|arXiv (Cornell University)|2019. 09. 14.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 41

한 줄 요약

본 논문은 분할-경계(Branch-and-Bound) 프레임워크를 이용해 piecewise-linear 뉴럴 네트워크의 검증을 수행하고, 기존 방법들을 통합하며 특히 합성곱 아키텍처(convolutional architectures)에 대해 새로운 분기 및 경계 전략을 제시한다.

ABSTRACT

The success of Deep Learning and its potential use in many safety-critical applications has motivated research on formal verification of Neural Network (NN) models. In this context, verification involves proving or disproving that an NN model satisfies certain input-output properties. Despite the reputation of learned NN models as black boxes, and the theoretical hardness of proving useful properties about them, researchers have been successful in verifying some classes of models by exploiting their piecewise linear structure and taking insights from formal methods such as Satisifiability Modulo Theory. However, these methods are still far from scaling to realistic neural networks. To facilitate progress on this crucial area, we exploit the Mixed Integer Linear Programming (MIP) formulation of verification to propose a family of algorithms based on Branch-and-Bound (BaB). We show that our family contains previous verification methods as special cases. With the help of the BaB framework, we make three key contributions. Firstly, we identify new methods that combine the strengths of multiple existing approaches, accomplishing significant performance improvements over previous state of the art. Secondly, we introduce an effective branching strategy on ReLU non-linearities. This branching strategy allows us to efficiently and successfully deal with high input dimensional problems with convolutional network architecture, on which previous methods fail frequently. Finally, we propose comprehensive test data sets and benchmarks which includes a collection of previously released testcases. We use the data sets to conduct a thorough experimental comparison of existing and new algorithms and to provide an inclusive analysis of the factors impacting the hardness of verification problems.

연구 동기 및 목표

• 신경망 검증을 MIP/BaB 프레이워크를 이용한 전역 최적화 문제로 형식화한다.
• 기존 검증 방법의 강점과 약점을 파악하고 이를 BaB 하에 통합한다.
• 확장성을 개선하기 위해 특히 합성곱 신경망의 ReLU에 대한 새로운 분기 전략을 개발한다.
• 합성곱 네트워크를 포함한 포괄적 데이터셋과 합성 모델을 제안해 견고한 벤치마깅을 수행한다.
• 기존 방법과 제안된 방법을 평가·비교하여 검증 문제의 난이도 요인을 이해한다.

제안 방법

• 검증을 최소값의 부호를 확인하는 것으로 축약되는 표준 표현을 갖는 전역 최적화 문제로 검증을 형식화한다.
• ReLU 및 기타 계층을 big-M 제약을 갖는 MIP로 인코딩하고 구간 전파로 경계를 유도한다.
• 브랜칭, 경계 계산, 가지치기를 교대로 수행하여 허용 오차 epsilon 이내의 전역 최솟값으로 수렴하는 일반적인 BaB 알고리즘을 제시한다.
• 다수의 기존 방법(Reluplex, Planet 등)이 특별한 경우로 BaB 프레임워크에 들어맞음을 보인다.
• 정교한 중간 경계와 볼록 이완을 통해 이완을 더 촘촘하게 조정한다.
• 네트워크 구조를 활용해 고차원 및 합성곱 아키텍처를 다루는 새로운 ReLU 중심의 분기 전략을 도입한다.

실험 결과

연구 질문

• RQ1 PL-NN의 검증을 BaB 최적화 문제로 어떻게 재정의할 수 있으며, 기존 방법 간에 어떤 공통점이 있는가?
• RQ2 BaB 내에서 고차원 네트워크(포함 합성곱 아키텍처)를 확장 가능하게 하는 효과적인 분기 및 경계 전략은 무엇인가?
• RQ3 더 촘촘한 이완과 경계 정제가 검증 작업에서 실질적인 속도 개선으로 이어지는가?
• RQ4 합성곱 및 합성 네트워크를 포함한 새로운 데이터셋이 벤치마킹과 검증 난이도 이해에 어떤 영향을 미치는가?
• RQ5 통합된 BaB 프레임워크가 기존 접근법의 강점을 결합하여 개선점을 드러낼 수 있는가?

주요 결과

• BaB 프레임워크가 이전의 검증 방법들을 특수한 경우로 포함하고 그 강점을 결합 가능하게 한다.
• ReLU 비선형성에 대한 새로운 분기 전략이 고차원 및 합성곱 네트워크에서 성능을 향상시킨다.
• 더 촘촘한 볼록 이완과 주기적인 중간 경계 세분화가 경계 계산을 크게 가속화하여 더 빠른 가지치기를 가능하게 한다.
• 합성곱 네트워크 및 합성 모델을 포함한 포괄적인 데이터셋이 견고한 벤치마킹과 검증 난이도 분석을 지원한다.
• 이 접근법은 벤치마크 문제에서 이전 최첨단 방법에 비해 상당한 속도 향상을 달성하며, 일부 경우 거의 두 자릿수에 달하는 차이를 보인다.