[論文レビュー] A DPLL(T) Framework for Verifying Deep Neural Networks

Hai Duong, ThanhVu Nguyen+1 more|arXiv (Cornell University)|Jul 17, 2023

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

NeuralSAT は抽象化、節学習、リスタートを用いる ReLU ベースの DNN の検証器であり、検証をスケールさせ、最先端ツールに対して競争力のある性能を示す。

ABSTRACT

Deep Neural Networks (DNNs) have emerged as an effective approach to tackling real-world problems. However, like human-written software, DNNs can have bugs and can be attacked. To address this, research has explored a wide-range of algorithmic approaches to verify DNN behavior. In this work, we introduce NeuralSAT, a new verification approach that adapts the widely-used DPLL(T) algorithm used in modern SMT solvers. A key feature of SMT solvers is the use of conflict clause learning and search restart to scale verification. Unlike prior DNN verification approaches, NeuralSAT combines an abstraction-based deductive theory solver with clause learning and an evaluation clearly demonstrates the benefits of the approach on a set of challenging verification benchmarks.

研究の動機と目的

• 深層ニューラルネットの堅牢な検証を動機付け、既存アプローチのスケールの限界に対処する。
• NeuralSAT を提案する。これは DPLL(T) ベースの検 verifier で、抽象化と節学習を DNN 検証に統合する。
• 難易度の高い検証ベンチマークでのスケーラビリティと性能を実証する。
• 実務における SMT/SAT ベースの DNN 検証を前進させるオープンソース実装を提供する。

提案手法

• ニューロン活性化のブール抽象を用いて DNN 検証を DPLL(T) 問題として定式化する。
• 抽象化を用いた LRA ベースの理論ソルバーを用いて推論と理論伝播を実行する。
• CDCL とリスタートの相互作用を活用して検証をスケールさせる（衝突駆動節学習と探索再起動の組み合わせ）。
• ヒューリスティック（Filtered Smart Branching）に導かれたニューロン分割（ブランチング）を用いて探索を集約する。
• NeuralSAT をオープンソースとして公開し、最先端の DNN 検証器（例：Marabou）や VNN-COMP エントリと比較する。

実験結果

リサーチクエスチョン

• RQ1 抽象化と節学習を伴う DPLL(T)スタイルの解決器は、ReLU ベースの DNN の性質を大規模に効率良く検証できるか。
• RQ2 CDCL とリスタート技術は、従来のアプローチと比較して DNN 検証のスケーラビリティと有効性にどのような影響を与えるか。
• RQ3 NeuralSAT は難易度の高いベンチマークで最先端の DNN 検証器と比較してどう機能し、迅速パス最適化とのトレードオフはどうなるか。
• RQ4 ドメイン固有の LRA ソルバーを抽象化と統合することは、DNN の性質検証の矛合性チェックを改善するか。

主な発見

• NeuralSAT は CDCL とリスタートの統合により、難易度の高いベンチマークで検証可能な問題数を 53% 増加させた。
• NeuralSAT は、節学習を欠く既存の最良の DPLL ベース DNN 検 verifier である Marabou を大幅に上回った。
• NeuralSAT は fast-path 最適化を除いた評価で、VNN-COMP のベンチマークを α-β-CROWN に次ぐ2位で解決した。
• このアプローチは初期プロトタイプながら、難易度の高い DNN 検証問題の解決性と性能面で有利なスケーラビリティを示した。
• オープンソースの NeuralSAT 実装を公開し、SMT ベースの DNN 検証の研究開発を促進する。