[论文解读] Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks

Jiaxiang Liu, Yunhan Xing+4 more|arXiv (Cornell University)|Jul 2, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出了一种用于大规模、精确的深度神经网络（DNNs）验证的新型抽象-精化框架，通过协同的神经元合并与移除实现抽象，通过神经元分裂与被移除神经元的恢复实现精化。该方法在Marabou和Planet上分别实现了最高达86.3%和78.0%的加速，并且比最接近的先前工作CEGAR-NN快11.6–26.6倍，同时通过依赖感知的精化和精度引导策略保持了精确性和正确性。

ABSTRACT

As a new programming paradigm, deep neural networks (DNNs) have been increasingly deployed in practice, but the lack of robustness hinders their applications in safety-critical domains. While there are techniques for verifying DNNs with formal guarantees, they are limited in scalability and accuracy. In this paper, we present a novel abstraction-refinement approach for scalable and exact DNN verification. Specifically, we propose a novel abstraction to break down the size of DNNs by over-approximation. The result of verifying the abstract DNN is always conclusive if no spurious counterexample is reported. To eliminate spurious counterexamples introduced by abstraction, we propose a novel counterexample-guided refinement that refines the abstract DNN to exclude a given spurious counterexample while still over-approximating the original one. Our approach is orthogonal to and can be integrated with many existing verification techniques. For demonstration, we implement our approach using two promising and exact tools Marabou and Planet as the underlying verification engines, and evaluate on widely-used benchmarks ACAS Xu, MNIST and CIFAR-10. The results show that our approach can boost their performance by solving more problems and reducing up to 86.3% and 78.0% verification time, respectively. Compared to the most relevant abstraction-refinement approach, our approach is 11.6-26.6 times faster.

研究动机与目标

• 解决现有形式化DNN验证技术在可扩展性和精度方面的局限性。
• 通过可靠的抽象减少网络复杂度，实现对大规模DNN的精确验证。
• 通过可靠的、反例引导的精化过程，消除抽象引入的虚假反例。
• 通过将抽象与精化与现有精确验证工具集成，提升验证的效率与精度。
• 提供一种通用且正交的框架，在不牺牲正确性或完备性的情况下，增强当前最先进的验证工具。

提出的方法

• 提出两种抽象原语：神经元合并与神经元移除，基于权重和激活值边界，以确保可靠的上界逼近。
• 提出一种抽象策略，通过选择每轮迭代中精度损失最小的原语，实现最大神经元减少量，同时最小化精度成本。
• 开发两种精化原语：神经元分裂与被移除神经元的恢复，以排除虚假反例，同时保持上界逼近的正确性。
• 利用依赖图在精化过程中强制保证正确性，通过限制精化步骤的执行顺序。
• 采用精度引导策略，选择每轮网络规模增加下能恢复最多精度的精化原语。
• 将该框架与Marabou和Planet等精确验证后端集成，实现对现有工具的即插即用式性能增强。

实验结果

研究问题

• RQ1 基于结构的抽象-精化框架是否能在不牺牲正确性或完备性的情况下，提升精确DNN验证的可扩展性？
• RQ2 如何设计抽象策略，以在最大化网络规模缩减的同时最小化精度损失？
• RQ3 如何在排除虚假反例的同时，使精化过程既可靠又高效？
• RQ4 该方法在速度和问题覆盖范围方面，与现有基于CEGAR的DNN验证方法相比，能提升多少？
• RQ5 该框架能否有效集成到现有精确验证工具中，以显著提升其性能？

主要发现

• 所提方法在Marabou和Planet上分别实现了最高达86.3%和78.0%的性能提升，解决了更多验证问题并显著缩短了验证时间。
• 在相同基准测试下，该方法比最接近的先前工作CEGAR-NN快11.6–26.6倍。
• 与CEGAR-NN相比，该抽象策略更有效地缩减网络规模，预处理阶段的网络规模最多仅翻倍，而CEGAR-NN中则达到四倍。
• 通过使用互补的原语和依赖感知的排序，该精化过程在单位规模增加下实现了更高的精度恢复能力。
• 该框架在所有抽象与精化步骤中均保持了精确性和正确性，确保验证过程中无虚假否定结果。
• 该方法与现有验证工具正交且可组合，可在不修改底层引擎的前提下，实现即插即用的性能提升。