[论文解读] Efficient Neural Network Verification via Order Leading Exploration of Branch-and-Bound Trees

Jingyue Lu, Manish Kumar+5 more|arXiv (Cornell University)|Dec 3, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 9

一句话总结

该论文提出了一种基于图神经网络（GNN）的分支策略，用于在分支定界（BaB）框架下进行神经网络验证。通过将神经网络建模为图结构，并采用一种新颖的前向-后向嵌入更新调度机制，GNN 能够以显著更低的计算成本模仿强分支（strong branching）行为，与最先进的手工设计策略相比，分支数和验证时间均减少超过50%，同时在不同问题难度和网络规模下展现出强大的横向与纵向泛化能力。

ABSTRACT

Formal verification of neural networks is essential for their deployment in safety-critical areas. Many available formal verification methods have been shown to be instances of a unified Branch and Bound (BaB) formulation. We propose a novel framework for designing an effective branching strategy for BaB. Specifically, we learn a graph neural network (GNN) to imitate the strong branching heuristic behaviour. Our framework differs from previous methods for learning to branch in two main aspects. Firstly, our framework directly treats the neural network we want to verify as a graph input for the GNN. Secondly, we develop an intuitive forward and backward embedding update schedule. Empirically, our framework achieves roughly $50\%$ reduction in both the number of branches and the time required for verification on various convolutional networks when compared to the best available hand-designed branching strategy. In addition, we show that our GNN model enjoys both horizontal and vertical transferability. Horizontally, the model trained on easy properties performs well on properties of increased difficulty levels. Vertically, the model trained on small neural networks achieves similar performance on large neural networks.

研究动机与目标

• 解决神经网络验证中的关键瓶颈问题：在分支定界（BaB）算法中，有效分支策略带来的高计算成本。
• 开发一种计算效率高且性能优越的分支策略，超越手工设计的启发式方法和随机选择。
• 实现所学分支策略在不同神经网络架构和验证问题难度级别之间的泛化能力。
• 集成在线微调机制，使 GNN 策略在 BaB 过程中能够根据具体验证目标自适应调整。

提出的方法

• 该方法将神经网络建模为计算图，并利用图神经网络（GNN）通过模仿强分支行为来学习分支策略。
• 提出一种新颖的前向与后向嵌入更新调度机制，通过共享参数高效传播信息，实现快速推理。
• GNN 通过监督学习在合成训练数据上进行训练，这些数据通过将廉价启发式方法与强分支结合生成部分步骤得到。
• 该框架支持横向泛化能力（在不同问题难度级别间的泛化）和纵向泛化能力（从小型网络泛化到大型网络）。
• 集成在线学习机制，在 BaB 过程中对 GNN 进行微调，使其能够根据具体验证任务自适应调整策略。
• 该方法兼容任何界计算方法，因此可广泛应用于现有的基于 BaB 的验证框架。

实验结果

研究问题

• RQ1 能否有效训练 GNN，使其学习到一种高质量的神经网络验证分支策略，其性能可匹配或超越强分支？
• RQ2 与手工设计的启发式方法和随机选择相比，所提出的基于 GNN 的分支策略在验证时间和分支数方面表现如何？
• RQ3 所学的 GNN 策略在不同验证问题难度级别之间（横向泛化）的泛化程度如何？
• RQ4 在小型网络上训练的 GNN 策略能否有效应用于大型网络（纵向泛化）？
• RQ5 在 BaB 过程中对 GNN 进行在线微调是否能进一步提升验证性能？

主要发现

• 所提出的基于 GNN 的分支策略在多种卷积神经网络上，与最佳手工设计分支策略相比，平均分支数减少超过 50%，验证时间也减少超过 50%。
• GNN 模型在简单、中等和困难的验证属性上均表现出一致的性能提升，证明了其强大的横向泛化能力。
• 在小型网络上训练的模型能有效泛化到大型网络，展现出显著的纵向泛化能力，从而可应用于大规模问题。
• 在 BaB 过程中对 GNN 进行在线微调可进一步提升性能，其中 GNN-Online 在 61.52% 的属性中分支数更少，60.20% 的属性中耗时更短，优于标准 GNN。
• 该框架具有鲁棒性和通用性，在所有测试模型和问题集上均优于 BaBSR 和商业 MIP 求解器（MIPPlanet）。