[論文レビュー] Abstraction and Refinement: Towards Scalable and Exact Verification of Neural Networks

Jiaxiang Liu, Yunhan Xing+4 more|arXiv (Cornell University)|Jul 2, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、抽象化にニューロンのマージと削除を、精錬にニューロンの分割と回復を組み合わせることで、スケーラブルかつ正確な深層ニューラルネットワーク（DNN）検証のための新規な抽象化・精錬フレームワークを提案する。Marabou や Planet より最大 86.3% および 78.0% の高速化を達成し、最も近い先行研究である CEGAR-NN よりも 11.6–26.6× 高速化しながら、依存関係に配慮した精錬と精度誘導戦略により正確性と整合性を維持する。

ABSTRACT

As a new programming paradigm, deep neural networks (DNNs) have been increasingly deployed in practice, but the lack of robustness hinders their applications in safety-critical domains. While there are techniques for verifying DNNs with formal guarantees, they are limited in scalability and accuracy. In this paper, we present a novel abstraction-refinement approach for scalable and exact DNN verification. Specifically, we propose a novel abstraction to break down the size of DNNs by over-approximation. The result of verifying the abstract DNN is always conclusive if no spurious counterexample is reported. To eliminate spurious counterexamples introduced by abstraction, we propose a novel counterexample-guided refinement that refines the abstract DNN to exclude a given spurious counterexample while still over-approximating the original one. Our approach is orthogonal to and can be integrated with many existing verification techniques. For demonstration, we implement our approach using two promising and exact tools Marabou and Planet as the underlying verification engines, and evaluate on widely-used benchmarks ACAS Xu, MNIST and CIFAR-10. The results show that our approach can boost their performance by solving more problems and reducing up to 86.3% and 78.0% verification time, respectively. Compared to the most relevant abstraction-refinement approach, our approach is 11.6-26.6 times faster.

研究の動機と目的

• 既存の形式的 DNN 検証手法のスケーラビリティと精度の限界を解消すること。
• 整合的な抽象化によりネットワークの複雑さを低減することで、大規模 DNN の正確な検証を可能にすること。
• 抽象化によって生じる誤検出の反例（spurious counterexamples）を、整合的で反例誘導型の精錬プロセスにより排除すること。
• 既存の正確な検証ツールと統合することで、検証の効率性と精度を向上させること。
• 既存の最先端の検証ツールを損なわず、一般性と直交性を備えたフレームワークを提供すること。

提案手法

• 重みと活性化の境界に基づいて、整合的な上界近似を保証するように誘導される、2つの抽象化プリミティブ（ニューロンのマージと削除）を提案する。
• 反復ごとに精度損失を最小化するようにプリミティブを選択する抽象化戦略を導入し、精度コストを最小限に抑えつつニューロン数を最大限に削減する。
• 誤検出の反例を除外しながら上界近似を維持するため、2つの精錬プリミティブ（ニューロンの分割と削除されたニューロンの回復）を導入する。
• 精錬中の整合性を保つために、依存関係グラフを用いて精錬手順の順序を制限する。
• ネットワークサイズの増加に対して最も精度を回復させるプリミティブを選択する精度誘導戦略を用いる。
• Marabou や Planet といった正確な検証バックエンドと統合し、既存ツールに即座に統合可能な拡張性を実現する。

実験結果

リサーチクエスチョン

• RQ1 構造に基づく抽象化・精錬フレームワークは、整合性や完全性を損なわず、正確な DNN 検証のスケーラビリティを向上させることができるか？
• RQ2 抽象化は、ネットワークサイズの縮小を最大化しつつ、精度損失を最小限に抑えるようにどのように設計できるか？
• RQ3 誤検出の反例を除外する際、どのようにして精錬を整合的かつ効率的に実行できるか？
• RQ4 このアプローチは、速度と問題カバレッジの観点から、既存の CEGAR ベースの DNN 検証手法をどの程度上回ることができるか？
• RQ5 このフレームワークは、既存の正確な検証ツールと効果的に統合可能であり、それらの性能を向上させることができるか？

主な発見

• 提案手法は、Marabou や Planet の両方を、より多くの検証問題を解決し、検証時間を最大 86.3% および 78.0% 減少させることで高速化する。
• 同じベンチマーク上で、最も近い先行研究 CEGAR-NN よりも 11.6–26.6 倍高速である。
• 抽象化戦略は CEGAR-NN よりもネットワークサイズの縮小をより効果的に実現し、前処理によるネットワークサイズの増加が最大で 2 倍であるのに対し、CEGAR-NN では 4 倍にまで増加する。
• 補完的なプリミティブと依存関係に配慮した順序付けを用いることで、サイズ増加に比して高い精度回復が達成される。
• すべての抽象化および精錬ステップで正確性と整合性が維持され、検証において偽陰性が発生しない。
• このアプローチは、既存の検証ツールと直交的かつ合成可能であり、基盤エンジンを変更せずとも即座にパフォーマンス向上を実現できる。