[논문 리뷰] Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification.

Shiqi Wang, Huan Zhang외 5명|arXiv (Cornell University)|2021. 03. 11.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 57

한 줄 요약

Beta-CROWN은 학습 가능한 파라미터 β를 통해 각 뉴런의 분할 제약 조건을 통합하는 미분 가능 경계 전파 방법을 도입하여, 완전하고 불완전한 신경망 검증 모두에 대해 효율적이고 날카운 경계를 제공한다. 이는 LP 기반 BaB 방법 대비 최대 300배 빠른 속도를 기록하고, MNIST(ε=0.3)에서 검증된 정확도와 실측 정확도 간 격차를 35%에서 12%로 감소시켜, SDP 기반 검증기 대비 47배 빠른 성능을 발휘한다.

ABSTRACT

Recent works in neural network verification show that cheap incomplete verifiers such as CROWN, based upon bound propagations, can effectively be used in Branch-and-Bound (BaB) methods to accelerate complete verification, achieving significant speedups compared to expensive linear programming (LP) based techniques. However, they cannot fully handle the per-neuron split constraints introduced by BaB like LP verifiers do, leading to looser bounds and hurting their verification efficiency. In this work, we develop $\beta$-CROWN, a new bound propagation based method that can fully encode per-neuron splits via optimizable parameters $\beta$. When the optimizable parameters are jointly optimized in intermediate layers, $\beta$-CROWN has the potential of producing better bounds than typical LP verifiers with neuron split constraints, while being efficiently parallelizable on GPUs. Applied to the complete verification setting, $\beta$-CROWN is close to three orders of magnitude faster than LP-based BaB methods for robustness verification, and also over twice faster than state-of-the-art GPU-based complete verifiers with similar timeout rates. By terminating BaB early, our method can also be used for incomplete verification. Compared to the state-of-the-art semidefinite-programming (SDP) based verifier, we show a substantial leap forward by greatly reducing the gap between verified accuracy and empirical adversarial attack accuracy, from 35% (SDP) to 12% on an adversarially trained MNIST network ($\epsilon=0.3$), while being 47 times faster. Our code is available at this https URL

연구 동기 및 목표

• 신경망 검증 과정에서 각 뉴런의 분할 제약 조건을 다루는 데 있어 기존 경계 전파 방법의 비효율성과 느슨함을 해결하기 위해.
• 분할 제약 조건이 적용된 경우에도 LP 기반 검증기의 정밀도를 유지하거나 초월하는, 미분 가능하고 GPU 병렬 처리가 가능한 방법을 개발하기 위해.
• 높은 효율성과 향상된 강건성 검증 정확도를 바탕으로 완전 및 불완전 검증을 모두 가능하게 하기 위해.
• 특히 적대적으로 훈련된 모델에서 검증된 정확도와 실측 정확도 간 격차를 줄이기 위해.
• 비용이 많이 드는 LP 및 SDP 기반 검증 기법들에 대한 확장 가능한 대안을 제공하기 위해.

제안 방법

• 경계 전파 내부에 각 뉴런의 분할 제약 조건을 직접 표현하기 위해 학습 가능한 파라미터 β를 도입하여 엔드 투 엔드로 미분 가능하게 한다.
• 중간 레이어 전역에서 β 파라미터를 동시에 최적화하여 검증 과정 중 경계를 더욱 날카롭게 한다.
• 완전한 검증을 위해 Branch-and-Bound (BaB) 프레임워크 내에서 사용하며, LP 기반 서브루틴을 대체하거나 가속화한다.
• 역전파를 사용해 경계 전파 중에 β 파라미터를 업데이트하여 효율적인 GPU 병렬 처리를 가능하게 한다.
• 불완전 검증을 위한 조기 종료를 지원하여 빠른 근사적 강건성 분석을 가능하게 한다.
• 미분 가능 구조를 활용해 기존 CROWN보다 더 날카운 경계를 달성하고, SDP 및 LP 기반 검증기와 경쟁 가능한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 경계 전파 방법이 LP 검증기처럼 각 뉴런의 분할 제약 조건을 완전히 처리하면서도 효율성을 유지할 수 있는가?
• RQ2 경계 전파에 도입된 학습 가능한 파라미터 β가 기존 CROWN과 조건이 적용된 LP 기반 방법보다 더 날카운 경계를 생성할 수 있는가?
• RQ3 Beta-CROWN은 속도와 검증 정확도 측면에서 최신의 LP 및 SDP 기반 검증기와 비교해 어떻게 성능을 내는가?
• RQ4 Beta-CROWN은 적대적으로 훈련된 모델에서 검증된 정확도와 실측 정확도 간 격차를 크게 줄일 수 있는가?
• RQ5 Beta-CROWN은 실용적인 검증 워크로드를 위해 GPU에서 얼마나 잘 스케일업되고 병렬화될 수 있는가?

주요 결과

• Beta-CROWN은 MNIST에서 완전한 강건성 검증 과정에서 LP 기반 BaB 방법 대비 최대 300배 빠른 속도를 기록한다.
• ε=0.3일 때, 적대적으로 훈련된 MNIST 네트워크에서 검증된 정확도와 실측 정확도 간 격차를 SDP 기반 결과의 35%에서 12%로 감소시킨다.
• 유사한 타임아웃 비율을 유지하면서도 다음으로 빠른 GPU 기반 완전 검증기보다 두 배 이상 빠른 성능을 발휘한다.
• 분할 제약 조건이 적용된 경우, LP 기반 검증기의 경계 날카움 수준을 맞추거나 초월한다.
• SDP 기반 검증기 대비 47배 빠른 속도를 기록하면서도 검증 정확도 격차를 크게 개선한다.
• 미분 가능한 β 파라미터의 사용은 효과적이고 확장 가능하며 병렬 처리 가능한 경계 전파를 가능하게 하여 검증 효율성을 향상시킨다.