[論文レビュー] Efficient Exact Verification of Binarized Neural Networks

Kai Jia, Martin Rinard|arXiv (Cornell University)|May 7, 2020

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、BNNエンコーディングにおける再帰的基数制約をネイティブに扱える新しいSATソルバを用いて、バイナリゼートニューラルネットワーク（BNNs）の効率的かつ正確な検証を実現するEEVというシステムを提案する。バランスの取れたスパarsityと低基数制約を用いてBNNを訓練することで、EEVは、MNISTおよびCIFAR10で同等の検証可能精度を維持しながら、実数値ネットワークの1,000倍以上高速に正確な検証を達成する。

ABSTRACT

Concerned with the reliability of neural networks, researchers have developed verification techniques to prove their robustness. Most verifiers work with real-valued networks. Unfortunately, the exact (complete and sound) verifiers face scalability challenges and provide no correctness guarantees due to floating point errors. We argue that Binarized Neural Networks (BNNs) provide comparable robustness and allow exact and significantly more efficient verification. We present a new system, EEV, for efficient and exact verification of BNNs. EEV consists of two parts: (i) a novel SAT solver that speeds up BNN verification by natively handling the reified cardinality constraints arising in BNN encodings; and (ii) strategies to train solver-friendly robust BNNs by inducing balanced layer-wise sparsity and low cardinality bounds, and adaptively cancelling the gradients. We demonstrate the effectiveness of EEV by presenting the first exact verification results for L-inf-bounded adversarial robustness of nontrivial convolutional BNNs on the MNIST and CIFAR10 datasets. Compared to exact verification of real-valued networks of the same architectures on the same tasks, EEV verifies BNNs hundreds to thousands of times faster, while delivering comparable verifiable accuracy in most cases.

研究の動機と目的

• 実数値ニューラルネットワークの正確な検証におけるスケーラビリティと浮動小数点誤差の問題に対処すること。
• その離散的性質を活かして、バイナリゼートニューラルネットワーク（BNNs）の正確かつ効率的な検証を可能にすること。
• BNNエンコーディングに生じる再帰的基数制約に最適化されたSATソルバの開発。
• バランスの取れたレイヤーワイズスパarsityと低基数制約を用いた訓練により、BNNを正確な検証に適した状態にすること。
• MNISTおよびCIFAR10における非自明な畳み込みBNNのL-infinityロバストネスについて、初めての正確な検証を実現すること。

提案手法

• BNNエンコーディングに一般的に見られる再帰的基数制約をネイティブにサポートする新しいSATソルバの設計。
• ソルバの効率を向上させるために、バランスの取れたレイヤーワイズスパarsityと低基数制約を誘導する訓練戦略の導入。
• BNNのロバストネスと検証可能性を向上させるために、訓練中に適応的勾配キャンセレーションを採用。
• 再帰的基数制約を用いてBNNをブール充足問題にエンコードし、正確な検証を実現。
• SATソルバを用いてL-infinityバウンド付きの敵対的ロバストネスの完全かつ整合的な検証を実行。
• MNISTおよびCIFAR10で訓練された畳み込みBNNに対して、正確なロバストネス検証を実施して手法を検証。

実験結果

リサーチクエスチョン

• RQ1 実数値ネットワーク検証器に見られる浮動小数点誤差を回避するSATベースの手法により、BNNを正確かつ効率的に検証できるか？
• RQ2 BNNの正確な検証性能は、実数値ネットワークと比較して、速度と検証可能精度の面でどの程度か？
• RQ3 どのような訓練技術がBNNの効率的かつ正確な検証に適した状態にできるか？
• RQ4 BNNエンコーディングに現れる再帰的基数制約を、SATソルバがネイティブに処理できるか？
• RQ5 標準データセット（MNISTおよびCIFAR10）における非自明な畳み込みBNNに対して、どの程度の検証可能ロバストネスが達成可能か？

主な発見

• EEVは、同じアーキテクチャを用いた実数値ネットワークの正確な検証と比較して、BNNの正確な検証を数百～数千倍高速に達成する。
• MNISTおよびCIFAR10において、実数値ネットワークと同等の検証可能精度を達成しており、BNNが正確な検証下でもロバストネスを維持していることが示された。
• 再帰的基数制約をネイティブに処理できる新しいSATソルバのおかげで、検証が著しく高速化された。
• バランスの取れたレイヤーワイズスパarsityと低基数制約を用いたBNNの訓練は、ロバストネスを損なわせることなく、検証効率を向上させる。
• EEVは、MNISTおよびCIFAR10における非自明な畳み込みBNNのL-infinityバウンド付き敵対的ロバストネスについて、初めての正確な検証を実現した。
• 訓練中に適応的勾配キャンセレーションを適用することで、得られるBNNの検証可能性とロバストネスが向上した。