[论文解读] Efficient Exact Verification of Binarized Neural Networks

Kai Jia, Martin Rinard|arXiv (Cornell University)|May 7, 2020

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出EEV，一种利用新型原生支持重言基数约束的SAT求解器，实现对二值化神经网络（BNNs）的高效且精确的验证。通过采用平衡稀疏性和低基数界训练BNN，EEV在MNIST和CIFAR10数据集上实现的验证准确度与实值网络相当，同时将精确验证速度提升至实值网络的1,000倍。

ABSTRACT

Concerned with the reliability of neural networks, researchers have developed verification techniques to prove their robustness. Most verifiers work with real-valued networks. Unfortunately, the exact (complete and sound) verifiers face scalability challenges and provide no correctness guarantees due to floating point errors. We argue that Binarized Neural Networks (BNNs) provide comparable robustness and allow exact and significantly more efficient verification. We present a new system, EEV, for efficient and exact verification of BNNs. EEV consists of two parts: (i) a novel SAT solver that speeds up BNN verification by natively handling the reified cardinality constraints arising in BNN encodings; and (ii) strategies to train solver-friendly robust BNNs by inducing balanced layer-wise sparsity and low cardinality bounds, and adaptively cancelling the gradients. We demonstrate the effectiveness of EEV by presenting the first exact verification results for L-inf-bounded adversarial robustness of nontrivial convolutional BNNs on the MNIST and CIFAR10 datasets. Compared to exact verification of real-valued networks of the same architectures on the same tasks, EEV verifies BNNs hundreds to thousands of times faster, while delivering comparable verifiable accuracy in most cases.

研究动机与目标

• 解决实值神经网络精确验证中的可扩展性与浮点数误差问题。
• 利用BNN的离散特性，实现对二值化神经网络（BNNs）的精确且高效验证。
• 开发一种针对BNN编码中出现的重言基数约束进行优化的SAT求解器。
• 通过层间稀疏性平衡与低基数界，训练更易于精确验证的BNN。
• 首次实现对MNIST和CIFAR10上非平凡卷积BNN在L-infinity鲁棒性方面的精确验证。

提出的方法

• 设计一种新型SAT求解器，原生支持BNN编码中常见的重言基数约束。
• 引入训练策略，诱导层间稀疏性平衡与低基数界，以提升求解器效率。
• 在训练过程中采用自适应梯度抵消，以增强BNN的鲁棒性与可验证性。
• 使用重言基数约束将BNN编码为布尔可满足性问题，实现精确验证。
• 利用SAT求解器执行L-infinity有界对抗鲁棒性的完整且可靠验证。
• 在MNIST和CIFAR10上训练的卷积BNN上验证该方法，实现对鲁棒性的精确验证。

实验结果

研究问题

• RQ1 能否通过基于SAT的方法对BNN实现精确且高效的验证，从而避免实值网络验证器中存在的浮点数误差？
• RQ2 在速度与可验证准确度方面，BNN的精确验证性能与实值网络相比如何？
• RQ3 哪些训练技术可使BNN更易于实现高效且精确的验证？
• RQ4 SAT求解器能否原生处理BNN编码中的重言基数约束，从而提升验证性能？
• RQ5 在MNIST和CIFAR10等标准数据集上，对非平凡卷积BNN可实现何种水平的可验证鲁棒性？

主要发现

• EEV实现的BNN精确验证速度比同架构实值网络快数百至数千倍。
• 在MNIST和CIFAR10上，系统实现的可验证准确度与实值网络相当，表明BNN在精确验证下仍保持鲁棒性。
• 新型SAT求解器通过原生处理BNN编码中的重言基数约束，显著加速了验证过程。
• 通过层间稀疏性平衡与低基数界训练BNN，可在不损失鲁棒性的前提下提升验证效率。
• EEV首次实现了对MNIST和CIFAR10上非平凡卷积BNN在L-infinity有界对抗鲁棒性的精确验证。
• 训练过程中采用自适应梯度抵消，有助于提升BNN的可验证性与鲁棒性。