[논문 리뷰] Efficient Exact Verification of Binarized Neural Networks

Kai Jia, Martin Rinard|arXiv (Cornell University)|2020. 05. 07.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 이중화 신경망(BNNs)에 대한 정확하고 효율적인 검증을 위한 EEV 시스템을 제안한다. 이는 BNN 인코딩에서 발생하는 재결합된 기수 제약 조건을 네이티브로 처리할 수 있는 새로운 SAT 솔버를 사용한다. 균형 잡힌 희소성과 낮은 기수 한계를 갖도록 BNN을 훈련시킴으로써 EEV는 실수 값 네트워크보다 최대 1,000배 빠르게 정확한 검증을 수행하면서 MNIST 및 CIFAR10에서 비교 가능한 검증 가능 정확도를 유지한다.

ABSTRACT

Concerned with the reliability of neural networks, researchers have developed verification techniques to prove their robustness. Most verifiers work with real-valued networks. Unfortunately, the exact (complete and sound) verifiers face scalability challenges and provide no correctness guarantees due to floating point errors. We argue that Binarized Neural Networks (BNNs) provide comparable robustness and allow exact and significantly more efficient verification. We present a new system, EEV, for efficient and exact verification of BNNs. EEV consists of two parts: (i) a novel SAT solver that speeds up BNN verification by natively handling the reified cardinality constraints arising in BNN encodings; and (ii) strategies to train solver-friendly robust BNNs by inducing balanced layer-wise sparsity and low cardinality bounds, and adaptively cancelling the gradients. We demonstrate the effectiveness of EEV by presenting the first exact verification results for L-inf-bounded adversarial robustness of nontrivial convolutional BNNs on the MNIST and CIFAR10 datasets. Compared to exact verification of real-valued networks of the same architectures on the same tasks, EEV verifies BNNs hundreds to thousands of times faster, while delivering comparable verifiable accuracy in most cases.

연구 동기 및 목표

• 실수 값 신경망의 정확한 검증에서 발생하는 확장성 문제와 부동소수점 오류를 해결하기 위해.
• 이중화 신경망(BNNs)의 이산적 성질을 활용하여 정확하고 효율적인 검증을 가능하게 하기 위해.
• BNN 인코딩에서 발생하는 재결합된 기수 제약 조건에 최적화된 SAT 솔버를 개발하기 위해.
• 균형 잡힌 계층별 희소성과 낮은 기수 한계를 갖도록 BNN을 훈련시켜 정확한 검증에 더 적합한 모델을 만들기 위해.
• MNIST 및 CIFAR10에서 비트리버스성 있는 컨볼루션 BNN에 대한 L-infinity 기반의 정확한 검증을 처음으로 수행하기 위해.

제안 방법

• BNN 인코딩에서 흔히 발생하는 재결합된 기수 제약 조건을 네이티브로 지원하는 새로운 SAT 솔버 설계.
• 해결기 효율성을 향상시키기 위해 균형 잡힌 계층별 희소성과 낮은 기수 한계를 유도하는 훈련 전략 도입.
• BNN의 강건성과 검증 가능성 향상을 위해 훈련 중 적응형 기울기 취소 기법을 적용.
• 재결합된 기수 제약 조건을 사용하여 BNN을 부울 만족 가능성 문제로 인코딩하여 정확한 검증 수행.
• L-infinity 기반의 적대적 강건성에 대한 완전하고 타당한 검증을 위해 SAT 솔버를 활용.
• MNIST 및 CIFAR10에서 훈련된 컨볼루션 BNN에 대해 정확한 검증을 수행하여 접근법을 검증.

실험 결과

연구 질문

• RQ1 실수 값 네트워크 검증기에서 발생하는 부동소수점 오류를 피하면서, SAT 기반 방법을 사용해 BNN을 정확하고 효율적으로 검증할 수 있는가?
• RQ2 속도와 검증 가능 정확도 측면에서 BNN의 정확한 검증 성능은 실수 값 네트워크와 비교해 어떻게 되는가?
• RQ3 어떤 훈련 기법이 BNN의 효율적이고 정확한 검증에 더 적합하게 만들 수 있는가?
• RQ4 BNN 인코딩에서 발생하는 재결합된 기수 제약 조건을 SAT 솔버가 네이티브로 처리할 수 있는가? 이를 통해 검증 성능 향상이 가능한가?
• RQ5 표준 데이터셋인 MNIST 및 CIFAR10에서 비트리버스성 있는 컨볼루션 BNN에 대해 어떤 정도의 검증 가능 강건성을 달성할 수 있는가?

주요 결과

• EEV는 동일한 아키텍처를 갖는 실수 값 네트워크보다 BNN의 정확한 검증을 수백에서 수천 배 빠르게 수행한다.
• EEV는 MNIST 및 CIFAR10에서 실수 값 네트워크와 비교해 유사한 검증 가능 정확도를 제공하여, BNN이 정확한 검증 하에서도 강건성을 유지함을 시사한다.
• 새로운 SAT 솔버는 BNN 인코딩에서 발생하는 재결합된 기수 제약 조건을 네이티브로 처리함으로써 검증 속도를 크게 향상시킨다.
• 균형 잡힌 계층별 희소성과 낮은 기수 한계를 갖도록 BNN을 훈련시키면, 강건성 손실 없이 검증 효율성이 향상된다.
• EEV는 MNIST 및 CIFAR10에서 비트리버스성 있는 컨볼루션 BNN에 대해 L-infinity 기반의 적대적 강건성에 대한 첫 번째 정확한 검증을 수행한다.
• 훈련 중 적응형 기울기 취소 기법이 도입되면서, 결과적으로 생성된 BNN의 검증 가능성과 강건성이 향상된다.