[论文解读] Lagrangian Decomposition for Neural Network Verification

Rudy Bunel, Alessandro De Palma+5 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 8

一句话总结

该论文提出了一种用于神经网络验证的新型拉格朗日分解方法，通过利用问题结构，其得到的界比以往的对偶方法更紧。该方法采用受神经网络操作启发的超梯度和近端算法，支持GPU并行计算和任意时间停止，相比通用求解器和以往的对偶算法，在相同时间约束下实现了更快的收敛速度和更优的界。

ABSTRACT

A fundamental component of neural network verification is the computation of bounds on the values their outputs can take. Previous methods have either used off-the-shelf solvers, discarding the problem structure, or relaxed the problem even further, making the bounds unnecessarily loose. We propose a novel approach based on Lagrangian Decomposition. Our formulation admits an efficient supergradient ascent algorithm, as well as an improved proximal algorithm. Both the algorithms offer three advantages: (i) they yield bounds that are provably at least as tight as previous dual algorithms relying on Lagrangian relaxations; (ii) they are based on operations analogous to forward/backward pass of neural networks layers and are therefore easily parallelizable, amenable to GPU implementation and able to take advantage of the convolutional structure of problems; and (iii) they allow for anytime stopping while still providing valid bounds. Empirically, we show that we obtain bounds comparable with off-the-shelf solvers in a fraction of their running time, and obtain tighter bounds in the same time as previous dual algorithms. This results in an overall speed-up when employing the bounds for formal verification. Code for our algorithms is available at https://github.com/oval-group/decomposition-plnn-bounds.

研究动机与目标

• 开发一种更紧致、更可扩展的对偶松弛方法，用于神经网络验证，同时保持网络的结构特性。
• 设计模仿前向/反向传播的优化算法，以实现高效的GPU实现和并行化。
• 通过允许早期终止而不损失有效性，实现任意时间界。
• 通过分解方法推导出更强的对偶，从而改进现有的拉格朗日松弛方法。
• 提供一个实用的验证框架，平衡不完全验证和完全验证在速度与紧致性之间的权衡。

提出的方法

• 该方法将神经网络验证建模为混合整数规划问题，并应用拉格朗日分解，将问题按神经元分解为子问题，利用逐层结构。
• 提出一种超梯度上升算法，通过类似反向传播的操作计算梯度来更新对偶变量，从而实现高效的并行化。
• 开发了一种近端算法，将每个子问题作为强凸优化问题求解，并通过解析推导出最优步长。
• 该分解使得对偶问题可逐层求解，模仿前向和反向传播过程，同时支持卷积结构的利用。
• 两种算法均设计为任意时间算法：在任意迭代步骤均可产生有效界，从而实现运行时间与紧致性之间的灵活权衡。
• 该方法在GPU上实现，支持在单个GPU上并行计算数百个界，显著加速验证流水线。

实验结果

研究问题

• RQ1 拉格朗日分解能否产生比现有基于松弛的验证方法更紧的对偶界？
• RQ2 对偶优化能否被设计为模仿神经网络推理和反向传播，以实现高效的GPU计算？
• RQ3 所提出的算法能否在任意迭代步骤提供有效界，从而实现速度与精度之间的灵活权衡？
• RQ4 基于分解的对偶方法是否在界的质量和运行时间上均优于通用求解器？
• RQ5 该方法能否在大规模网络和同时验证多个性质的情况下实现有效扩展？

主要发现

• 所提出的拉格朗日分解对偶方法产生的界在理论上至少与Dvijotham等人（2018）的方法一样紧，实证结果表明在相同时间内界更紧。
• 超梯度和近端算法在远短于时间的条件下，实现了与通用求解器（如Gurobi）相当或更优的界。
• 在基础模型上，近端方法将平均求解时间减少至73.6秒（相比Gurobi的545.7秒），同时平均求解1377.7个子问题。
• 对于困难的验证问题，近端方法的超时率为21.83%，而Gurobi为41.31%，表明其具有更优的可扩展性。
• 该方法实现了在单个GPU上并行求解数百个线性规划问题，达到了CPU系统无法实现的并行程度。
• 在不完全验证中，近端方法优于DSG+和其他基线方法，尤其在正常训练的网络上表现更优，即使在1040次迭代后仍能获得更紧的界。