[论文解读] QNNVerifier: A Tool for Verifying Neural Networks using SMT-Based Model Checking

Xidan Song, Edoardo Manino+6 more|arXiv (Cornell University)|Nov 24, 2021

Adversarial Robustness in Machine Learning参考文献 22被引用 5

一句话总结

QNNVerifier 是首个使用基于 SMT 的模型检查技术，对量化神经网络进行形式化验证的开源工具，支持定点和浮点数算术、通过查表实现的任意激活函数，以及使用 C 代码定义的安全属性。通过结合区间分析、不变量推断与 ESBMC 的集成，它在 AcasXu 等基准测试中实现了最先进的验证性能，同时考虑了有限字长效应。

ABSTRACT

QNNVerifier is the first open-source tool for verifying implementations of neural networks that takes into account the finite word-length (i.e. quantization) of their operands. The novel support for quantization is achieved by employing state-of-the-art software model checking (SMC) techniques. It translates the implementation of neural networks to a decidable fragment of first-order logic based on satisfiability modulo theories (SMT). The effects of fixed- and floating-point operations are represented through direct implementations given a hardware-determined precision. Furthermore, QNNVerifier allows to specify bespoke safety properties and verify the resulting model with different verification strategies (incremental and k-induction) and SMT solvers. Finally, QNNVerifier is the first tool that combines invariant inference via interval analysis and discretization of non-linear activation functions to speed up the verification of neural networks by orders of magnitude. A video presentation of QNNVerifier is available at https://youtu.be/7jMgOL41zTY

研究动机与目标

• 解决缺乏可考虑定点和浮点数算术中有限字长效应的开源工具来形式化验证量化神经网络的问题。
• 实现对实际人工神经网络（ANN）实现的形式化验证，而非抽象数学模型，确保部署系统中的正确性。
• 通过查表支持多种神经网络格式（ONNX、Keras、TensorFlow、C）和任意非线性激活函数。
• 通过使用普通 C 代码结合 assume 和 assert 语句，为用户提供指定安全属性的完整表达能力。
• 通过使用区间分析和非线性函数离散化进行不变量推断，显著提升验证性能。

提出的方法

• 使用 SMT 将神经网络实现转换为一阶逻辑的可判定片段，以硬件确定的精度表示定点和浮点数运算。
• 支持多种输入格式，包括 ONNX、NNET、Keras、TensorFlow 和原生 C 代码，实现对源代码的直接验证。
• 将非线性激活函数（如 sigmoid、tanh、ReLU）替换为预计算的查表，以实现具有有界误差（ε ≤ 0.002）的高效 SMT 编码。
• 使用 Frama-C 推断每个神经元的区间不变量，并将其编码为 assume 语句，以约束搜索空间。
• 使用 ESBMC 作为后端基于 SMT 的模型检查器，支持与最先进的 SMT 求解器（Bitwuzla、Boolector、Yices、Z3）集成，并支持增量验证策略。
• 支持 k-induction 和增量验证策略，实现对量化网络的可扩展且高效的分析。

实验结果

研究问题

• RQ1 形式化验证工具能否高效处理量化神经网络在定点和浮点数表示下的有限字长效应？
• RQ2 与直接 SMT 编码相比，区间分析与基于查表的激活函数集成如何提升验证性能？
• RQ3 量化位宽（如 8、16、32 位）在多大程度上影响验证时间？是否存在可测量的性能权衡？
• RQ4 一个验证实际 C 代码实现的 ANN 的工具，其性能是否可与验证抽象数学模型的工具相媲美？
• RQ5 QNNVerifier 对任意激活函数和用户定义安全属性的支持，如何影响其在多样化神经网络架构中的适用性？

主要发现

• 尽管考虑了量化效应，QNNVerifier 在 AcasXu 基准测试中优于基于 SMT 的工具 Marabou，并与基于可达性分析的工具 Neurify 性能相当。
• Bitwuzla 和 Boolector 的验证时间几乎完全相同，而 Yices 在所有基准测试中均显著更快，Z3 则无法完成大多数验证任务。
• 字长与验证时间之间的相关性仅在字长低于 16 位且特定安全属性下成立，不同量化格式下的安全结果无显著差异。
• 使用 ε ≤ 0.002 的查表实现激活函数，可在保证精度的同时实现高效的 SMT 编码，将验证时间减少数个数量级。
• 通过 Frama-C 进行区间分析的不变量推断可缩小搜索空间并加速验证，尤其在具有 ReLU 和 sigmoid 激活函数的深层网络中效果显著。
• QNNVerifier 是首个支持在多种格式（ONNX、Keras、TensorFlow、C）下对量化 ANN 进行完整验证的开源工具，支持用户定义的安全属性以及定点和浮点数算术。