[论文解读] Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers

Kaidi Xu, Huan Zhang+5 more|arXiv (Cornell University)|Nov 27, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 59

一句话总结

这篇论文提出了一种基于 LiRPA 的优化界限方法，以在 BaB 框架内实现快速、完整的神经网络验证，通过利用 GPU 及批处理并使用有限的 LP 检查来确保完整性，从而在 LP 基方法上实现大幅加速。

ABSTRACT

Formal verification of neural networks (NNs) is a challenging and important problem. Existing efficient complete solvers typically require the branch-and-bound (BaB) process, which splits the problem domain into sub-domains and solves each sub-domain using faster but weaker incomplete verifiers, such as Linear Programming (LP) on linearly relaxed sub-domains. In this paper, we propose to use the backward mode linear relaxation based perturbation analysis (LiRPA) to replace LP during the BaB process, which can be efficiently implemented on the typical machine learning accelerators such as GPUs and TPUs. However, unlike LP, LiRPA when applied naively can produce much weaker bounds and even cannot check certain conflicts of sub-domains during splitting, making the entire procedure incomplete after BaB. To address these challenges, we apply a fast gradient based bound tightening procedure combined with batch splits and the design of minimal usage of LP bound procedure, enabling us to effectively use LiRPA on the accelerator hardware for the challenging complete NN verification problem and significantly outperform LP-based approaches. On a single GPU, we demonstrate an order of magnitude speedup compared to existing LP-based approaches.

研究动机与目标

• 激发在安全关键环境中对完整神经网络验证的需求，并分析现有带 LP 求解器的 BaB 的局限性。
• 提出使用带梯度优化的反向 LiRPA 边界来替代 BaB 中的 LP，以提升速度和并行性。
• 通过整合最小的 LP 可行性检查来检测不可行的分割，确保完整性。
• 利用 GPU/TPU 加速，通过批处理分裂在 LiRPA 边界上利用大规模并行性。
• 在标准 CIFAR-10 基准上展示相对于基于 LP 的验证器的经验速度提升。

提出的方法

• 使用反向 LiRPA 边界传播，以获得相对于输入的神经网络输出的线性界限。
• 引入带有可训练 alpha 参数的优化 LiRPA，通过梯度下降收紧中间界限和输出界限。
• 采用批处理 BaB 工作流，在 GPU 上并行分裂多个 ReLU 节点并为大量子域计算界限。
• 仅在必要时调用 LP，以通过检查子域可行性来确保完整性，特别是在经过多次分割后。
• 采用批处理分裂、并行 LiRPA 计算，并以阈值为基础对 LP 进行回退，以在速度和完整性之间取得平衡。
• 提供一个完整的验证框架，在最小 LP 可行性检查制度下（定理 3.2）具有正确性和完整性。

实验结果

研究问题

• RQ1 优化后的 LiRPA 边界在 BaB 中是否能够匹配或超过基于 LP 的边界，用于完整的神经网络验证？
• RQ2 在高维输入上，带最小 LP 可行性检查的批处理 LiRPA 是否提供一个完整且可扩展的验证框架？
• RQ3 在 BaB 中将 LiRPA 与有选择的 LP 检查结合时，速度与完整性之间有哪些权衡？
• RQ4 GPU 上的批量并行对 CIFAR-10 风格基准的验证性能有何影响？
• RQ5 相对于最先进的基于 LP 的和非 LP 验证器，实证速度提升是多少？

主要发现

• 经过梯度优化的 alpha 参数增强的优化 LiRPA 边界，在 BaB 的完整验证中可以超越 LP 边界。
• 批处理分裂和 GPU 加速的 LiRPA 相对于基于 LP 的基线实现显著加速（在某些基准上约 30X）。
• 通过在 LiRPA 无法单独解决分割时整合最小的 LP 可行性检查来实现完整性（定理 3.2）。
• 该框架在 CIFAR-10 模型 Base、Wide 和 Deep 上，相对于最近的现有完整验证器实现多达 3X 的速度提升。
• 具有并行 LiRPA 的批处理 BaB 工作流可以同时处理多个子域，提升硬件效率。