[論文レビュー] Scalable Verification of Quantized Neural Networks (Technical Report)

Thomas A. Henzinger, Mathias Lechner+1 more|arXiv (Cornell University)|Dec 15, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 4

ひとこと要約

本稿では、ビット単位の丸め誤差を考慮するが、標準的な検証手法では無視される、スケーラブルなSMTベースの検証フレームワークを、量子化ニューラルネットワーク向けに提案する。変数の事前計算、最小ビット幅符号化、冗長性削除を導入することで、敵対的頑健性ベンチマークにおいて、既存ツールと比較して最大1,000倍の高速化を達成し、PSPACE困難な複雑性を持つにもかかわらず、ビット正確な検証が可能であることを示している。

ABSTRACT

Formal verification of neural networks is an active topic of research, and recent advances have significantly increased the size of the networks that verification tools can handle. However, most methods are designed for verification of an idealized model of the actual network which works over real arithmetic and ignores rounding imprecisions. This idealization is in stark contrast to network quantization, which is a technique that trades numerical precision for computational efficiency and is, therefore, often applied in practice. Neglecting rounding errors of such low-bit quantized neural networks has been shown to lead to wrong conclusions about the network's correctness. Thus, the desired approach for verifying quantized neural networks would be one that takes these rounding errors into account. In this paper, we show that verifying the bit-exact implementation of quantized neural networks with bit-vector specifications is PSPACE-hard, even though verifying idealized real-valued networks and satisfiability of bit-vector specifications alone are each in NP. Furthermore, we explore several practical heuristics toward closing the complexity gap between idealized and bit-exact verification. In particular, we propose three techniques for making SMT-based verification of quantized neural networks more scalable. Our experiments demonstrate that our proposed methods allow a speedup of up to three orders of magnitude over existing approaches.

研究の動機と目的

• 実用的に広く使われているが、丸め誤差のため検証で無視されがちな量子化ニューラルネットワークの形式的検証におけるギャップを埋めること。
• ビットベクタ仕様を用いた量子化ニューラルネットワークの検証問題が、充足可能性がNPに属するにもかかわらず、PSPACE困難であることを示すこと。
• 理想化された（実数値の）ネットワーク検証と、ビット正確な（量子化された）ネットワーク検証との間のスケーラビリティのギャップを埋めること。
• 量子化ネットワーク向けに、符号化サイズを削減し、ソルバーの性能を向上させる実用的なSMT符号化技術を開発すること。
• 標準的な敵対的頑健性ベンチマークにおいて顕著な性能向上を示すこと。

提案手法

• 入力に依存しない特定の変数および制約の値を事前計算する技術を導入し、SMT符号化のサイズを削減する。
• 変数の最小ビット幅符号化を提案し、先行研究と比較してビットベクタ表現を大幅に縮小する。
• ネットワークの意味論におけるビットレベルの冗長性を活用して、符号化を簡素化する冗長性削除ヒューリスティクスを開発する。
• 抽象解釈を用いて、量子化ネットワークの到達可能な値範囲を分析し、より効率的な符号化を導く。
• これらの技術をビットベクタ論理を用いたSMTベースの検証パイプラインに統合する。
• パフォーマンス評価のため、ポータフォリオSMTソルバー（Boolector）を採用し、複数のベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 ビットベクタ仕様を用いた量子化ニューラルネットワークの検証問題は、理想化された実数値ネットワークの検証問題よりも複雑性が高いのか？
• RQ2 PSPACE困難な複雑性を持つにもかかわらず、量子化ネットワークのSMTベースの検証をスケーラブルに可能にすることができるか？
• RQ3 どのような具体的な符号化最適化が、量子化ネットワークのSMTベース検証において最大のパフォーマンス向上をもたらすか？
• RQ4 丸め誤差を無視した場合、検証結果の正しさにどのような影響が生じるか？
• RQ5 個々の最適化技術は、全体のパフォーマンス向上にどの程度寄与しているか？

主な発見

• ビットベクタ仕様を用いた量子化ニューラルネットワークの検証問題が、充足可能性がNPに属するにもかかわらず、PSPACE困難であることが証明された。
• 提案手法は、敵対的頑健性検証ベンチマークにおいて、既存ツールと比較して3桁以上の速度向上（最大1,000倍）を達成した。
• MNISTデータセットでは、391件中318件（81.3%）を解決し、累積実行時間は7.9時間であった。これは、すべてのアブレーションバリアントを上回った。
• ReLU簡略化技術がパフォーマンス向上に最も寄与したが、ビット幅最小化と冗長性削除は、ソルバーのヒューリスティクスの影響で限定的な影響にとどまった。
• アブレーションスタディの結果、3つの主要技術のいずれかを無効化すると、解決可能なインスタンス数が減少し、それぞれの技術の寄与度が確認された。
• 結果として、ターゲットされた符号化最適化を組み合わせることで、ビット正確な検証が実用的かつ可能であることが示された。