[논문 리뷰] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Robustness Verification

Shiqi Wang, Huan Zhang외 5명|arXiv (Cornell University)|2021. 03. 11.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

Beta-CROWN은 최적화 가능한 파라미터 β를 통해 각 뉴런의 분할 제약 조건을 통합하는 효율적인 경계 전파 방법을 도입하여 GPU 가속을 통한 완전 및 부분 신경망 안정성 검증을 가능하게 한다. 이는 LP 기반 분할 및 경계 방법보다 최대 1,000배 빠른 검증 속도를 달성하며, 검증 정확도와 효율성에서 최신 기준을 초월하여 VNN-COMP 2021에서 우승 도구가 되었다.

ABSTRACT

Bound propagation based incomplete neural network verifiers such as CROWN are very efficient and can significantly accelerate branch-and-bound (BaB) based complete verification of neural networks. However, bound propagation cannot fully handle the neuron split constraints introduced by BaB commonly handled by expensive linear programming (LP) solvers, leading to loose bounds and hurting verification efficiency. In this work, we develop $β$-CROWN, a new bound propagation based method that can fully encode neuron splits via optimizable parameters $β$ constructed from either primal or dual space. When jointly optimized in intermediate layers, $β$-CROWN generally produces better bounds than typical LP verifiers with neuron split constraints, while being as efficient and parallelizable as CROWN on GPUs. Applied to complete robustness verification benchmarks, $β$-CROWN with BaB is up to three orders of magnitude faster than LP-based BaB methods, and is notably faster than all existing approaches while producing lower timeout rates. By terminating BaB early, our method can also be used for efficient incomplete verification. We consistently achieve higher verified accuracy in many settings compared to powerful incomplete verifiers, including those based on convex barrier breaking techniques. Compared to the typically tightest but very costly semidefinite programming (SDP) based incomplete verifiers, we obtain higher verified accuracy with three orders of magnitudes less verification time. Our algorithm empowered the $α,\!β$-CROWN (alpha-beta-CROWN) verifier, the winning tool in VNN-COMP 2021. Our code is available at http://PaperCode.cc/BetaCROWN

연구 동기 및 목표

• 분할 및 경계(BaB) 검증에서 유도되는 뉴런 분할 제약 조건을 다룰 때 경계 전파 방법의 비효율성을 해결하기 위해.
• 경계 전파의 효율성과 선형계획법(LP) 해법기의 정확성을 융합하는 방법을 개발하기 위해.
• 기존 LP 기반 BaB에 비해 검증 시간을 수개월 수준으로 감소시키는 GPU 가속을 통한 완전 검증을 가능하게 하기 위해.
• 기존 최신 기준 방법들과 비교해 완전 및 부분 검증 환경 모두에서 더 높은 검증 정확도를 향상시키기 위해.
• 실제 벤치마크에서 경쟁력 있는 성능을 보이며, VNN-COMP 2021에서의 승리로 입증된 실용적이고 확장 가능한 검증기를 개발하기 위해.

제안 방법

• 라그랑주 승수에서 유도된 최적화 가능한 파라미터 β를 도입하여 경계 전파에 뉴런 분할 제약 조건을 표현한다.
• 초기 경계와 β를 동시에 최적화하기 위해 초기 경계 상승 기법을 사용하여, 비용이 많이 드는 LP 해법기를 사용하지 않고도 유연성을 강화한다.
• 자동 미분 프레임워크를 활용해 GPU에서 β-CROWN을 효율적으로 구현함으로써 병렬 처리와 고처리량을 달성한다.
• 완전 검증을 위해 BaB를 지원하고, 조기 종료를 통해 부분 검증도 가능하게 하여 타당한 하한값을 반환한다.
• 계산 효율성을 유지하면서 경계의 타이트함을 향상시키기 위해 α 및 β 변수를 공동 최적화한다.
• β-CROWN을 기반으로 한 검증기 α,β-CROWN을 구축하여 신경망 검증 경연 대회에서 최고 성능을 달성한다.

실험 결과

연구 질문

• RQ1 경계 전파 방법은 비용이 많이 드는 LP 해법기를 사용하지 않고도 뉴런 분할 제약 조건을 완전히 표현할 수 있는가?
• RQ2 β와 중간층 경계를 동시에 최적화할 경우, 고정되거나 별도로 최적화된 경계보다 검증의 타이트함이 얼마나 향상되는가?
• RQ3 β 파rameter를 사용한 GPU 가속 경계 전파가 전통적인 LP 기반 BaB에 비해 속도와 확장성 측면에서 얼마나 뛰어나게 되는가?
• RQ4 β-CROWN은 비완전 LP 기반 및 SDP 기반 검증기보다 더 높은 검증 정확도를 달성하면서도 훨씬 더 빠른 속도를 확보할 수 있는가?
• RQ5 조기 종료된 경우 β-CROWN은 기존 비완전 검증 방법들과 비교해 얼마나 효과적인 비완전 검증기로 기능하는가?

주요 결과

• CIFAR-10 벤치마크에서 Beta-CROWN BaB는 LP 기반 BaB 방법 대비 검증 시간을 최대 3개의 지수 차수 감소시켰다.
• β-CROWN을 기반으로 한 α,β-CROWN 검증기는 제2회 국제 신경망 검증 경연대회(VNN-COMP 2021)에서 최고 총점과 가장 많은 인스턴스를 검증하여 최우수 성과를 거두었다.
• Beta-CROWN은 볼록 장벽 파기 및 타이트한 선형 근사 기반의 강력한 비완전 검증기들보다 더 높은 검증 정확도를 달성했다.
• 정수형 프로그래밍(SDP) 기반 검증기와 비교해 β-CROWN는 검증 시간을 3개의 지수 차수 감소시키면서도 더 높은 검증 정확도를 확보했다.
• CPU 환경에서도 β-CROWN은 뛰어난 성능을 유지하였으며, 이는 알고리즘적 효율성이 속도 향상에 기여한다는 점을 시사한다. GPU 가속은 성능을 최소 2배 이상 향상시켰다.
• 제거 실험을 통해 α 및 β 파rameter의 공동 최적화가 최고의 성능을 내며, 특히 β 최적화가 α 최적화보다 더 큰 영향을 미친다는 것이 확인되었다.