[论文解读] Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition

Alessandro De Palma, Rudy Bunel+5 more|arXiv (Cornell University)|Apr 14, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用 16

一句话总结

本文提出了一种用于神经网络验证的新分支定界框架 BaDNB，通过基于拉格朗日分解的对偶优化和一种新型基于激活的分支策略，提升了可扩展性和效率。通过在受限对偶空间中收紧边界并支持GPU并行计算，BaDNB 在对抗鲁棒性属性上的平均验证时间相比先前的完整验证器最多减少了50倍。

ABSTRACT

We improve the scalability of Branch and Bound (BaB) algorithms for formally proving input-output properties of neural networks. First, we propose novel bounding algorithms based on Lagrangian Decomposition. Previous works have used off-the-shelf solvers to solve relaxations at each node of the BaB tree, or constructed weaker relaxations that can be solved efficiently, but lead to unnecessarily weak bounds. Our formulation restricts the optimization to a subspace of the dual domain that is guaranteed to contain the optimum, resulting in accelerated convergence. Furthermore, it allows for a massively parallel implementation, which is amenable to GPU acceleration via modern deep learning frameworks. Second, we present a novel activation-based branching strategy. By coupling an inexpensive heuristic with fast dual bounding, our branching scheme greatly reduces the size of the BaB tree compared to previous heuristic methods. Moreover, it performs competitively with a recent strategy based on learning algorithms, without its large offline training cost. Finally, we design a BaB framework, named Branch and Dual Network Bound (BaDNB), based on our novel bounding and branching algorithms. We show that BaDNB outperforms previous complete verification systems by a large margin, cutting average verification times by factors up to 50 on adversarial robustness properties.

研究动机与目标

• 解决现有完整验证方法在深度神经网络上的可扩展性限制。
• 通过利用拉格朗日分解，提升分支定界验证中对偶边界的一致性和速度。
• 设计一种分支策略，以减少树的大小，且无需昂贵的离线训练。
• 利用深度学习框架实现高效的大规模并行边界计算。

提出的方法

• 提出一种基于拉格朗日分解的新型对偶公式，将对偶域限制在保证包含最优解的子空间中，从而获得比先前拉格朗日松弛方法更紧的边界。
• 开发了两种求解器——超梯度上升和邻近方法，由于其依赖的操作与神经网络前向/反向传播类似，均适合GPU加速。
• 设计了一种带动量的对偶更新规则，可在保持边界紧致性的同时提升收敛速度。
• 设计了一种基于激活的分支策略，结合快速对偶边界与轻量级启发式方法，显著减少BaB树的大小。
• 利用ReLU网络的凸性结构，将对偶问题分解为可解析求解的强凸子问题，且可使用解析步长。
• 在BaDNB中实现该框架，构建了一个完整的验证系统，集成新的边界计算与分支组件，实现端到端的性能提升。

实验结果

研究问题

• RQ1 在神经网络验证中，拉格朗日分解能否产生比标准拉格朗日松弛更紧的对偶边界？
• RQ2 所提出的对偶公式能否通过深度学习硬件实现高效并行化与加速？
• RQ3 基于激活的分支策略是否在减少BaB树大小方面优于现有启发式方法和学习方法？
• RQ4 新的边界计算与分支方法在真实世界鲁棒性属性上的验证时间可减少多少？

主要发现

• 所提出的拉格朗日分解对偶公式产生的边界至少与Dvijotham等人（2018）的方法一样紧，且通常更紧，同时收敛速度相当或更快。
• 在困难的验证问题上，邻近求解器在边界质量与收敛速度方面均优于超梯度上升方法。
• 新的对偶公式支持高效的GPU并行化，显著加速了多个网络单元的边界计算。
• 基于激活的分支策略显著减少了BaB树的大小，优于传统启发式方法，并在无需离线训练的情况下达到与学习方法相当的性能。
• BaDNB在对抗鲁棒性属性上的平均验证时间相比先前的完整验证系统最多减少了50倍。
• 在CIFAR-10网络上的实证结果表明，该方法在各种验证半径下均保持更紧的边界，即使在非对抗性训练下也表现稳定。