[논문 리뷰] General Cutting Planes for Bound-Propagation-Based Neural Network Verification

Huan Zhang, Shiqi Wang외 6명|arXiv (Cornell University)|2022. 08. 11.

Adversarial Robustness in Machine Learning인용 수 32

한 줄 요약

본 논문은 경계 전파(bound propagation)에 임의의 커팅 플레인 제약(완화된 정수 변수 포함)을 포함하도록 일반화하고, GPU 가속 경계 전파(GCP-CROWN)와 일반 솔버를 갖춘 MIP 솔버를 결합하여 고품질 커팅 플레인을 생성함으로써 challenging 벤치마크에서 최첨단 검증 성능을 달성한다.

ABSTRACT

Bound propagation methods, when combined with branch and bound, are among the most effective methods to formally verify properties of deep neural networks such as correctness, robustness, and safety. However, existing works cannot handle the general form of cutting plane constraints widely accepted in traditional solvers, which are crucial for strengthening verifiers with tightened convex relaxations. In this paper, we generalize the bound propagation procedure to allow the addition of arbitrary cutting plane constraints, including those involving relaxed integer variables that do not appear in existing bound propagation formulations. Our generalized bound propagation method, GCP-CROWN, opens up the opportunity to apply general cutting plane methods for neural network verification while benefiting from the efficiency and GPU acceleration of bound propagation methods. As a case study, we investigate the use of cutting planes generated by off-the-shelf mixed integer programming (MIP) solver. We find that MIP solvers can generate high-quality cutting planes for strengthening bound-propagation-based verifiers using our new formulation. Since the branching-focused bound propagation procedure and the cutting-plane-focused MIP solver can run in parallel utilizing different types of hardware (GPUs and CPUs), their combination can quickly explore a large number of branches with strong cutting planes, leading to strong verification performance. Experiments demonstrate that our method is the first verifier that can completely solve the oval20 benchmark and verify twice as many instances on the oval21 benchmark compared to the best tool in VNN-COMP 2021, and also noticeably outperforms state-of-the-art verifiers on a wide range of benchmarks. GCP-CROWN is part of the $α,\!β$-CROWN verifier, the VNN-COMP 2022 winner. Code is available at http://PaperCode.cc/GCP-CROWN

연구 동기 및 목표

• 효율적인 경계 전파를 일반 커팅 플레인과 결합하여 신경망 검증기의 강인성을 높이려 한다.
• 경계 전파를 일반화하여 어떤 층의 변수 및 완화된 정수 변수와 관련된 커팅 플레인을 다룰 수 있도록 한다.
• 출처가 같은 MIP 솔버를 이용해 커팅 플레인을 생성하고 GPU 경계 전파와 병렬로 실행하여 효율성을 높인다.
• oval20 및 oval21 벤치마크와 SDP-FO 모델에서 강한 실험적 성능을 입증한다.

제안 방법

• 임의의 커팅 플레인 제약을 x^(i), hat{x}^(i), 및 z^(i)를 포함하는 모든 층에 걸쳐 경계 전파에 일반화한다.
• LP 릴랙제이션에 커팅 플레인을 도입하고 쌍대 문제를 도출하여 층별 경계 전파 규칙을 얻는다(정리 3.1).
• g(alpha, beta)를 단단해진 하한 목표로 도입하고 경사 상승법으로 alpha, beta를 최적화하여 경계 하한을 단단하게 한다.
• GPU 가속 경계 전파(GCP-CROWN)와 방향성 분기가 없는 커팅 플레인을 생성하는 CPU 기반의 MIP 솔버를 결합하고, 병렬 비동기 설정으로 커팅을 경계 전파 검증기에 전달한다.
• alpha,beta-CROWN 프레임워크에 GCP-CROWN을 통합하고 초기 컷과 다양한 부분도메인 난이도를 활용하도록 BnB 전략을 조정한다.

실험 결과

연구 질문

• RQ1 일반 커팅 플레인을 느린 LP 솔버에 의존하지 않고 경계 전파 기반 NN 검증기에 도입할 수 있는가?
• RQ2 여러 층의 변수(포함된 relaxed integer 변수)를 포함하는 커팅 플레인이 검증 하한을 어떻게 개선하는가?
• RQ3 GPU-가속 경계 전파와 CPU 기반 MIP 생성 커팅의 결합이 검증 성능에 어떤 영향을 주는가?
• RQ4 GCP-CROWN+MIP가 어려운 벤치마크(oval20, oval21, SDP-FO)에서 최첨단 검증기와 비교하여 어떤 성능을 보이는가?
• RQ5 일반 커팅을 BaB 프레임워크에 통합하면 도전적인 네트워크에서 완전한 검증을 달성할 수 있는가?

주요 결과

• GCP-CROWN은 모든 oval20 인스턴스를 완전히 해결하며 평균 시간은 인스턴스당 5초 미만이다.
• oval21에서 GCP-CROWN은 VNN-COMP 2021의 경쟁 우승자 대비 대략 두 배의 인스턴스를 검증한다.
• GCP-CROWN은 MIP 커팅을 포함하여 현존하는 경계 전파 검증기들보다 다양한 벤치마크에서 우수한 성능을 보인다.
• 다층 간 커팅 플레인 및 이완된 정수 변수까지 포함하는 일반 커팅 플레인은 볼록 완화를 크게 강화하고 가지치기를 감소시킨다.
• CPU-MIP 솔버와 GPU 경계 전파가 병렬로 실행되어 강한 커팅을 가진 많은 가지를 효율적으로 탐색한다.