[論文レビュー] Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers

Kaidi Xu, Huan Zhang+5 more|arXiv (Cornell University)|Nov 27, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用数 59

ひとこと要約

本論文は、BaB フレームワーク内で高速かつ完全なニューラルネットワーク検証を可能にする最適化された LiRPA ベースの境界付け手法を提案する。GPUとバッチ処理を活用することで LP ベースの手法に比べて大幅なスピードアップを実現し、完全性を保証するための限定的な LP チェックを使用する。

ABSTRACT

Formal verification of neural networks (NNs) is a challenging and important problem. Existing efficient complete solvers typically require the branch-and-bound (BaB) process, which splits the problem domain into sub-domains and solves each sub-domain using faster but weaker incomplete verifiers, such as Linear Programming (LP) on linearly relaxed sub-domains. In this paper, we propose to use the backward mode linear relaxation based perturbation analysis (LiRPA) to replace LP during the BaB process, which can be efficiently implemented on the typical machine learning accelerators such as GPUs and TPUs. However, unlike LP, LiRPA when applied naively can produce much weaker bounds and even cannot check certain conflicts of sub-domains during splitting, making the entire procedure incomplete after BaB. To address these challenges, we apply a fast gradient based bound tightening procedure combined with batch splits and the design of minimal usage of LP bound procedure, enabling us to effectively use LiRPA on the accelerator hardware for the challenging complete NN verification problem and significantly outperform LP-based approaches. On a single GPU, we demonstrate an order of magnitude speedup compared to existing LP-based approaches.

研究の動機と目的

• 安全性が極めて重要な設定における完全な NN 検証の必要性を動機づけ、既存の LP ソルバーを用いた BaB の限界を分析する。
• BaB における LP の代替として勾配ベースの最適化を伴う逆向き LiRPA 境界を用い、速度と並列性を高める提案を行う。
• 組み込みの最小限の LP での実現可能性チェックを統合して、分割の非実現性を検出し完全性を保証する。
• バッチ分割による GPU/TPU 加速を活用し、LiRPA 境界における大規模並列性を活用する。
• 標準的な CIFAR-10 ベンチマークで、LP ベースの検証器に対する経験的な速度向上を示す。

提案手法

• 入力に対する NN 出力の線形境界を得るために、逆向き LiRPA 境界伝搬を用いる。
• 中間・出力の境界を勾配降下法で引き締めるよう、学習可能な alpha パラメータを備えた最適化済 LiRPA を導入する。
• 複数の ReLU ノードを並列に分割し、GPU 上で多数のサブドメインの境界を計算するバッチ BaB ワークフローを採用する。
• 分割後多くの場合のサブドメインの実現可能性をチェックして、必要な場合のみ LP を呼び出し、完全性を保証する。
• 速度と完全性のバランスを取るため、バッチ分割、並列 LiRPA 計算、およびしきい値ベースの LP へのフォールバックを採用する。
• 最小の LP 実現性チェック体制の下で健全で完全な検証フレームワークを提供する（Theorem 3.2）。

実験結果

リサーチクエスチョン

• RQ1 最適化された LiRPA 境界は、BaB における完全な NN 検証において LP ベースの境界と同等か、それを上回ることができるか？
• RQ2 最小限の LP 実現性チェックを組み込んだバッチ LiRPA は、高次元入力で完全かつスケーラブルな検証フレームワークを提供するか？
• RQ3 BaB における LiRPA と選択的 LP チェックの統合時の速度と完全性のトレードオフは何か？
• RQ4 GPU上のバッチ並列性が、CIFAR-10 系のベンチマークにおける検証性能にどのように影響するか？
• RQ5 最先端のLPベースおよび非LP検証器と比較した経験的な速度向上はどの程度か？

主な発見

• 勾配ベースの alpha 最適化によって強化された最適化 LiRPA 境界は、BaB における完全検証で LP 境界を上回ることができる。
• バッチ分割と GPU 加速 LiRPA により、LP ベースのベースラインに対して大幅な速度向上を実現（≈30X、特定のベンチマークで）。
• LiRPA のみでは分割を解決できない場合に最小限の LP 実現性チェックを組み込むことで完全性を達成する（Theorem 3.2）。
• このフレームワークは、CIFAR-10 モデル Base、Wide、Deep において、最近の最先端の完全検証器より最大で 3X の高速化を達成する。
• 並列 LiRPA を備えたバッチ BaB ワークフローは複数のサブドメインを同時に処理でき、ハードウェア効率を向上させる。