[論文レビュー] QNNVerifier: A Tool for Verifying Neural Networks using SMT-Based Model Checking

Xidan Song, Edoardo Manino+6 more|arXiv (Cornell University)|Nov 24, 2021

Adversarial Robustness in Machine Learning参考文献 22被引用数 5

ひとこと要約

QNNVerifier は、SMT ベースのモデルチェックを用いて量子化ニューラルネットワークを形式的に検証する最初のオープンソースツールであり、固定小数点および浮動小数点演算、ルックアップテーブルによる任意の活性化関数、C 言語でのユーザー定義の安全特性をサポートする。区間解析、不変式推論、ESBMC との統合を組み合わせることで、AcasXu のようなベンチマークで既存のツールを上回る最先端の検証性能を達成し、有限のワード長効果を考慮する。

ABSTRACT

QNNVerifier is the first open-source tool for verifying implementations of neural networks that takes into account the finite word-length (i.e. quantization) of their operands. The novel support for quantization is achieved by employing state-of-the-art software model checking (SMC) techniques. It translates the implementation of neural networks to a decidable fragment of first-order logic based on satisfiability modulo theories (SMT). The effects of fixed- and floating-point operations are represented through direct implementations given a hardware-determined precision. Furthermore, QNNVerifier allows to specify bespoke safety properties and verify the resulting model with different verification strategies (incremental and k-induction) and SMT solvers. Finally, QNNVerifier is the first tool that combines invariant inference via interval analysis and discretization of non-linear activation functions to speed up the verification of neural networks by orders of magnitude. A video presentation of QNNVerifier is available at https://youtu.be/7jMgOL41zTY

研究の動機と目的

• 固定小数点および浮動小数点演算における有限のワード長効果を考慮するが、量子化ニューラルネットワークの形式的検証を可能にするオープンソースツールが不足しているという問題に対処すること。
• 抽象的な数学的モデルではなく、実際の ANN 実装の形式的検証を可能にし、展開されたシステムにおける正しさを保証すること。
• ONNX、Keras、TensorFlow、C などの幅広いニューラルネットワークフォーマットをサポートし、ルックアップテーブルを用いて任意の非線形活性化関数を扱えるようにすること。
• 単純な C 言語コードに assume および assert 文を用いて、ユーザーが安全特性を完全に表現できるようにすること。
• 区間解析と非線形関数の離散化を用いた不変式推論により検証を高速化し、性能を著しく向上させること。

提案手法

• SMT を用いて、固定小数点および浮動小数点演算をハードウェアで定義された精度で表現する、一階論理の決定可能部分にニューラルネットワーク実装を変換する。
• ONNX、NNET、Keras、TensorFlow、およびネイティブ C コードを含む、複数の入力フォーマットをサポートし、ソースコードの直接検証を可能にする。
• シグモイド、tanh、ReLU などの非線形活性化関数を、事前に計算されたルックアップテーブルに置き換えることで、誤差が限界（ε ≤ 0.002）内に抑えられる効率的な SMT エンコードを可能にする。
• Frama-C を用いて各ニューロンの区間不変式を推論し、その結果を検索空間を制約する assume ステートメントとしてエンコードする。
• ESBMC をバックエンドの SMT ベースのモデルチェックとして採用し、最先端の SMT ソルバー（Bitwuzla、Boolector、Yices、Z3）との統合とインクリメンタル検証戦略を可能にする。
• k-帰納とインクリメンタル検証戦略の両方をサポートし、量子化ネットワークのスケーラブルかつ効率的な解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 形式的検証ツールは、固定小数点および浮動小数点表現における量子化の有限ワード長効果を、効率的に扱うことができるか？
• RQ2 区間解析とルックアップテーブルベースの活性化関数の統合は、直接的な SMT エンコードと比較して、検証性能をどのように向上させるか？
• RQ3 量子化レベル（例：8ビット、16ビット、32ビット）は検証時間にどの程度影響を及ぼし、性能のトレードオフが明確に測定可能か？
• RQ4 実際の C コード実装の ANN を検証するツールは、抽象的な数学的モデルを検証するツールと同等の性能を達成できるか？
• RQ5 QNNVerifier が任意の活性化関数とユーザー定義の安全特性をサポートすることで、多様なニューラルネットワークアーキテクチャへの適用性にどのような影響を与えるか？

主な発見

• QNNVerifier は、量子化効果を考慮しているにもかかわらず、SMT ベースのツールである Marabou よりも性能が良く、到達可能性に基づくツールである Neurify と同等の性能を達成した。
• Bitwuzla と Boolector はほぼ同一の検証時間を示したが、Yices は全ベンチマークで著しく速く、Z3 は大多数の検証タスクを完了できなかった。
• ワード長と検証時間の相関関係は、16ビット未満のワード長と特定の安全特性においてのみ成立し、異なる量子化フォーマット間で安全結果の顕著な差異は認められなかった。
• ε ≤ 0.002 のルックアップテーブルを用いた活性化関数の使用は、正確かつ効率的な SMT エンコードを可能にし、検証時間を桁違いに短縮した。
• Frama-C を用いた区間解析による不変式推論は、特に ReLU やシグモイド活性化を有する深層ネットワークにおいて、検索空間を縮小し検証を加速した。
• QNNVerifier は、ONNX、Keras、TensorFlow、C など複数のフォーマットをカバーし、ユーザー定義の安全特性と固定小数点および浮動小数点演算をサポートする、量子化 ANN の完全な検証を実現した最初のオープンソースツールである。