[논문 리뷰] Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers

Kaidi Xu, Huan Zhang외 5명|arXiv (Cornell University)|2020. 11. 27.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 59

한 줄 요약

이 논문은 GPU와 배치 처리를 활용하여 제한된 LP 검사로 완전성을 보장하고, BaB 프레임워크 내에서 빠르고 완전한 신경망 검증을 가능하게 하는 최적화된 LiRPA 기반 경계 방법을 도입하여 LP 기반 접근법에 비해 큰 속도 향상을 달성한다.

ABSTRACT

Formal verification of neural networks (NNs) is a challenging and important problem. Existing efficient complete solvers typically require the branch-and-bound (BaB) process, which splits the problem domain into sub-domains and solves each sub-domain using faster but weaker incomplete verifiers, such as Linear Programming (LP) on linearly relaxed sub-domains. In this paper, we propose to use the backward mode linear relaxation based perturbation analysis (LiRPA) to replace LP during the BaB process, which can be efficiently implemented on the typical machine learning accelerators such as GPUs and TPUs. However, unlike LP, LiRPA when applied naively can produce much weaker bounds and even cannot check certain conflicts of sub-domains during splitting, making the entire procedure incomplete after BaB. To address these challenges, we apply a fast gradient based bound tightening procedure combined with batch splits and the design of minimal usage of LP bound procedure, enabling us to effectively use LiRPA on the accelerator hardware for the challenging complete NN verification problem and significantly outperform LP-based approaches. On a single GPU, we demonstrate an order of magnitude speedup compared to existing LP-based approaches.

연구 동기 및 목표

• 안전-중요한 설정에서 완전한 NN 검증의 필요성을 동기부여하고 기존의 LP 솔버를 사용하는 BaB의 한계를 분석한다.
• BaB에서 속도와 병렬 처리를 위해 LP를 대체하기 위해 경사 하강으로 학습 가능한 alpha 매개변수를 가진 역방향 LiRPA 경계의 사용을 제안한다.
• 무효성(feasibility) 검사를 통해 완전성을 보장하기 위해 최소 LP 기반의 타당성 검사 를 통합한다.
• 대량 병렬성 활용을 위해 배치 분할을 통해 GPU/TPU 가속을 활용한다.
• 표준 CIFAR-10 벤치마크에서 LP 기반 검증기 대비 실험적으로 속도 향상을 보여준다.

제안 방법

• 입력에 대해 NN 출력에 대한 선형 경계를 얻기 위해 역방향 LiRPA 경계 전파를 사용한다.
• 네트워크 중간 및 출력 경계를 더 좁히기 위해 훈련 가능한 alpha 매개변수를 갖춘 최적화된 LiRPA를 도입한다.
• GPU에서 많은 부분 영역의 경계를 계산하고 여러 ReLU 노드를 병렬로 분할하고 서브도메인 수를 처리하는 배치 BaB 워크플로를 사용한다.
• 완전성을 보장하기 위해 필요한 경우에만 LP를 호출하여 특히 많은 분할 후 서브도메인 타당성을 확인한다.
• 속도와 완전성의 균형을 맞추기 위해 배치 분할, 병렬 LiRPA 계산, 그리고 LP로의 임계값 기반 대체를 채택한다.
• 최소 LP 타당성 검사 체제 하에서(정리 3.2) sound하고 complete한 완전 검증 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 최적화된 LiRPA 경계가 BaB에서 완전한 NN 검증을 위한 LP 기반 경계와 일치하거나 능가할 수 있는가?
• RQ2 배치 LiRPA가 최소 LP 타당성 검사를 통해 고차원 입력에서 완전하고 확장 가능한 검증 프레임워크를 제공하는가?
• RQ3 BaB에 LiRPA를 선택적 LP 검사와 통합할 때 속도와 완전성 간의 trade-off는 무엇인가?
• RQ4 GPU의 배치 병렬 처리가 CIFAR-10 스타일 벤치마크의 검증 성능에 어떤 영향을 미치는가?
• RQ5 최신의 LP 기반 및 비-LP 검증기 대비 실험적 속도 향상은 어느 정도인가?

주요 결과

• Gradient-based alpha 최적화를 통해 향상된 최적화된 LiRPA 경계가 BaB에서 완전한 검증을 위한 LP 경계보다 우수하게 작동할 수 있다.
• 배치 분할과 GPU 가속 LiRPA로 LP 기반 기준선 대비 상당한 속도 향상을 실현할 수 있다(≈30X on certain benchmarks).
• LiRPA 만으로 해결할 수 없을 때 최소 LP 타당성 검사와 통합함으로써 완전성이 달성된다(Theorem 3.2).
• 프레임워크는 CIFAR-10 모델 Base, Wide, Deep에서 최근의 완전 검증기 대비 최대 3X 속도 향상을 달성한다.
• 배치 BaB 워크플로우와 병렬 LiRPA는 여러 서브-도메인을 동시 처리하여 하드웨어 효율을 향상시킨다.