[论文解读] A Unified View of Piecewise Linear Neural Network Verification

Rudy Bunel, Ilker Turkaslan+3 more|arXiv (Cornell University)|Nov 1, 2017

Adversarial Robustness in Machine Learning被引用 141

一句话总结

本文将现有的 PL-NN 验证方法统一到分支限界框架，提出基准数据集，并展示新的算法改进，在比以往最先进方法快约两个数量级的速度上取得提升。

ABSTRACT

The success of Deep Learning and its potential use in many safety-critical applications has motivated research on formal verification of Neural Network (NN) models. Despite the reputation of learned NN models to behave as black boxes and the theoretical hardness of proving their properties, researchers have been successful in verifying some classes of models by exploiting their piecewise linear structure and taking insights from formal methods such as Satisifiability Modulo Theory. These methods are however still far from scaling to realistic neural networks. To facilitate progress on this crucial area, we make two key contributions. First, we present a unified framework that encompasses previous methods. This analysis results in the identification of new methods that combine the strengths of multiple existing approaches, accomplishing a speedup of two orders of magnitude compared to the previous state of the art. Second, we propose a new data set of benchmarks which includes a collection of previously released testcases. We use the benchmark to provide the first experimental comparison of existing algorithms and identify the factors impacting the hardness of verification problems.

研究动机与目标

• 提供一个统一的框架，涵盖现有的 PL-NN 验证方法。
• 创建并扩展基准数据集，以比较验证算法。
• 识别并验证在界限、分枝和搜索策略方面的算法改进。
• 证明将多种方法的优点结合起来可以加速验证。
• 提供实用的指导，提升 PL-NN 验证性能。

提出的方法

• 将 PL-NN 验证重新表述为通过分支限界（BaB）的全局优化问题。
• 展示现有方法（Reluplex、Planet、MIP 等）如何在 BaB 框架内成为特殊情况。
• 开发并比较若干 BaB 变体，具有不同的分裂与界限策略。
• 提出改进的界限计算，包括逐层凸松弛以及通过重建界限获得的更紧松弛。
• 引入输入域分支（BaB-input）和由快速对偶界限指导的更智能分支（BaBSB）。
• 给出基准数据集上的实验结果，以量化效率提升。

实验结果

研究问题

• RQ1 一个统一的分支限界框架能否涵盖先前的 PL-NN 验证方法？
• RQ2 哪些因素（界限质量、分枝策略、域划分）对验证难度和运行时间影响最大？
• RQ3 不同行松弛技术在收紧 PL-NN 界限方面表现如何？
• RQ4 哪些基准能揭示基于 SMT、基于 MIP 与基于 BaB 的验证方法的优点与局限？

主要发现

• 统一的 BaB 框架包含了先前的方法，并在某些情况下实现对前一代最先进方法的显著加速（接近两个数量级）。
• 智能分支和在每一步重新构建更紧的松弛（结合 relu-split 的 BaBSB）显著减少探索的子域数量。
• Reluplex、Planet 与 MIPplanet 在较浅的网络上运行非常快，但 BaBSB 在较深的网络（如 ACAS）内于可接受时间内取得更高成功率。
• 具有快速下线的输入域分支（BaB-input）与 Kolter & Wong 边界方法可以进一步提升剪枝效率。
• 在每次分裂后重建凸松弛会带来显著更紧的下界，尤其对于较深的网络。
• 引入的基于 PCAMNIST 的基准提供了对架构的受控变体，以研究验证性能。