[论文解读] A DPLL(T) Framework for Verifying Deep Neural Networks

Hai Duong, ThanhVu Nguyen+1 more|arXiv (Cornell University)|Jul 17, 2023

Adversarial Robustness in Machine Learning被引用 9

一句话总结

NeuralSAT 引入了基于 DPLL(T) 的 ReLU 基础的 DNN 验证器，使用抽象、子句学习和重启来扩展验证，展现出较好的可扩展性并与最先进工具具备竞争力的性能。

ABSTRACT

Deep Neural Networks (DNNs) have emerged as an effective approach to tackling real-world problems. However, like human-written software, DNNs can have bugs and can be attacked. To address this, research has explored a wide-range of algorithmic approaches to verify DNN behavior. In this work, we introduce NeuralSAT, a new verification approach that adapts the widely-used DPLL(T) algorithm used in modern SMT solvers. A key feature of SMT solvers is the use of conflict clause learning and search restart to scale verification. Unlike prior DNN verification approaches, NeuralSAT combines an abstraction-based deductive theory solver with clause learning and an evaluation clearly demonstrates the benefits of the approach on a set of challenging verification benchmarks.

研究动机与目标

• 促使对深度神经网络的鲁棒验证，并解决现有方法在规模方面的局限性。
• 提出 NeuralSAT，一个将抽象与子句学习结合的 DPLL(T)-基验证器用于 DNN 验证。
• 在具有挑战性的验证基准上展示可扩展性和性能。
• 提供开源实现，以推动 SMT/SAT 基于 DNN 验证在实践中的应用。

提出的方法

• 将 DNN 验证表述为带有神经元激活布尔化的 DPLL(T) 问题。
• 使用基于线性有界近似（LRA）的理论求解器进行演绎推理和理论传播，带有抽象。
• 结合冲突驱动子句学习（CDCL）与搜索重启以提升验证规模（CDCL 与重启的交互）。
• 采用神经元分裂（分支）并通过启发式（Filtered Smart Branching）引导，以聚焦搜索。
• 将 NeuralSAT 以开源形式发布，并与最先进的 DNN 验证器（如 Marabou）及 VNN-COMP 参赛工具进行比较。

实验结果

研究问题

• RQ1 具有抽象与子句学习的 DPLL(T) 风格求解器在对 ReLU 基础的 DNN 性能属性进行大规模验证时，是否高效？
• RQ2 CDCL 和重启技术与先前方法相比，如何影响 DNN 验证的可扩展性与有效性？
• RQ3 在具有挑战性的基准上，NeuralSAT 相对于最先进的 DNN 验证器的表现如何，以及快速路径优化存在何种权衡？
• RQ4 将领域特定的 LRA 求解器与抽象结合，是否提升对 DNN 属性的不可满足性检查效果？

主要发现

• 通过整合 CDCL 与重启，NeuralSAT 将在具有挑战性的基准上可验证的问题数量提升了 53%。
• NeuralSAT 显著优于现有最佳的 DPLL 基 DNN 验证器 Marabou（其方法中缺乏子句学习）。
• 在未采用快速路径优化时，NeuralSAT 在 VNN-COMP 比赛的基准上仅次于 α-β-CROWN，位列第二。
• 该方法在验证具有挑战性的 DNN 问题上的可扩展性与性能方面表现出有利趋势，尽管仍处于早期原型阶段。
• 发布开源实现的 NeuralSAT 以促进在 SMT 基于 DNN 验证领域的进一步研究与发展。