[논문 리뷰] A Unified View of Piecewise Linear Neural Network Verification

Rudy Bunel, Ilker Turkaslan외 3명|arXiv (Cornell University)|2017. 11. 01.

Adversarial Robustness in Machine Learning인용 수 141

한 줄 요약

본 논문은 기존의 PL-NN 검증 방법들을 분기-한정(BaB) 프레임워크 아래 하나로 통합하고, 벤치마크를 도입하며, 이전 연구 대비 대략 두 자릿수에 해당하는 속도 향상을 보이는 새로운 알고리즘 개선을 제시한다.

ABSTRACT

The success of Deep Learning and its potential use in many safety-critical applications has motivated research on formal verification of Neural Network (NN) models. Despite the reputation of learned NN models to behave as black boxes and the theoretical hardness of proving their properties, researchers have been successful in verifying some classes of models by exploiting their piecewise linear structure and taking insights from formal methods such as Satisifiability Modulo Theory. These methods are however still far from scaling to realistic neural networks. To facilitate progress on this crucial area, we make two key contributions. First, we present a unified framework that encompasses previous methods. This analysis results in the identification of new methods that combine the strengths of multiple existing approaches, accomplishing a speedup of two orders of magnitude compared to the previous state of the art. Second, we propose a new data set of benchmarks which includes a collection of previously released testcases. We use the benchmark to provide the first experimental comparison of existing algorithms and identify the factors impacting the hardness of verification problems.

연구 동기 및 목표

• 포괄적인 PL-NN 검증 방법을 하나의 프레임워크로 수용한다.
• 검증 알고리즘을 비교하기 위한 벤치마크 데이터셋을 만들고 확장한다.
• 경계, 분기, 탐색 전략에서의 알고리즘 개선을 식별하고 검증한다.
• 다양한 접근법의 강점을 결합하면 검증 속도가 빨라진다는 것을 보인다.
• PL-NN 검증 성능 향상을 위한 실용적 지침을 제공한다.

제안 방법

• PL-NN 검증을 분기-한정(BaB)을 통해 전역 최적화 문제로 재정의한다.
• 기존 methods(Reluxplex, Planet, MIP 등)이 BaB 프레임워크 내의 특수한 경우임을 보인다.
• 다양한 분할 및 경계 전략으로 몇 가지 BaB 변형을 개발하고 비교한다.
• 레이어별 볼록 완화 및 재구성된 경계를 통한 더 타이트한 완화 등 개선된 경계 계산을 제안한다.
• 빠른 이차 경계에 의해 정보화된 입력 도메인 분할(BaB-input) 및 더 똑똑한 분할(BaBSB)을 도입한다.
• 벤치마크 데이터 세트에 대한 실험 결과를 제시하여 효율성 향상을 정량화한다.

실험 결과

연구 질문

• RQ1 단일화된 분기-한정 프레임워크가 기존의 PL-NN 검증 방법들을 포용할 수 있는가?
• RQ2 경계 품질, 분기 전략, 도메인 분할 등의 어떤 요소가 검증의 난이도와 실행 시간에 가장 큰 영향을 미치는가?
• RQ3 다양한 완화 기법이 PL-NN의 경계를 강화하는 데 어떤 차이가 있는가?
• RQ4 SMT 기반, MIP 기반, BaB 기반 검증 방법의 강점과 한계를 벤치마크가 어떻게 드러내는가?

주요 결과

• 통합 BaB 프레임워크가 기존 방법들을 포섭하고 이전의 최첨단보다 상당한 속도 향상을 가능하게 한다(일부 경우 거의 두 자릿수).
• 스마트한 분기와 각 단계에서 더 타이트한 완화를 재구성하는(BaBSB with relu-split) approach가 탐색하는 하위 도메인 수를 현저히 줄인다.
• Reluplex, Planet, MIPplanet은 얕은 네트워크에서 매우 빠르게 작동하지만 BaBSB는 깊은 네트워크(예: ACAS)에서 실용적 시간 예산 내에 더 높은 성공률을 달성한다.
• 빠른 하한과 Kolter & Wong 경계 접근법이 있는 입력 도메인 분할(BaB-input)이 가지는 가지치기 효율을 더 높일 수 있다.
• 각 분할 후 볼록 완화를 재구성하면 특히 깊은 네트워크에서 하한이 크게 더 타이트해진다.
• PCAMNIST 기반 벤치마크는 구조의 제어된 변 variation을 제공하여 검증 성능 연구에 활용된다.