[論文レビュー] Provably Bounding Neural Network Preimages

Suhas Kotha, Christopher Brix+3 more|arXiv (Cornell University)|Feb 2, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、GPUアクセラレーションを施した境界伝播に基づくアルゴリズムであるINVPROPを紹介する。この手法は、与えられた線形制約付き集合内の出力を生成するすべての入力を特定する、ニューラルネットワークの前像を証明可能に過大近似することを目的としている。従来の手法とは異なり、線形計画法ソルバーに依存せず、出力制約を活用して中間活性化の境界を厳密化することで、最大2500倍の境界のタイトニングと、制御および耐障害性ベンチマークにおいて最新技術比で2.5倍の高速化を達成した。

ABSTRACT

Most work on the formal verification of neural networks has focused on bounding the set of outputs that correspond to a given set of inputs (for example, bounded perturbations of a nominal input). However, many use cases of neural network verification require solving the inverse problem, or over-approximating the set of inputs that lead to certain outputs. We present the INVPROP algorithm for verifying properties over the preimage of a linearly constrained output set, which can be combined with branch-and-bound to increase precision. Contrary to other approaches, our efficient algorithm is GPU-accelerated and does not require a linear programming solver. We demonstrate our algorithm for identifying safe control regions for a dynamical system via backward reachability analysis, verifying adversarial robustness, and detecting out-of-distribution inputs to a neural network. Our results show that in certain settings, we find over-approximations over 2500x tighter than prior work while being 2.5x faster. By strengthening robustness verification with output constraints, we consistently verify more properties than the previous state-of-the-art on multiple benchmarks, including a large model with 167k neurons in VNN-COMP 2023. Our algorithm has been incorporated into the $α,\!β$-CROWN verifier, available at https://abcrown.org.

研究の動機と目的

• 線形制約付きの出力集合をとる入力の集合を証明可能に過大近似する、逆検証問題に対処すること。
• 線形計画法ソルバーに依存せずに、出力制約を用いて中間活性化の境界をタイトニングする手法を開発すること。
• α,β-CROWNなどの既存の検証フレームワークと統合し、耐障害性および安全性検証における精度を向上させること。
• ニューラル制御ダイナミカルシステムにおける後向き到達可能性解析を可能にし、安全および危険な入力領域を特定すること。
• 高信頼性の予測を引き起こす入力領域を特定することで、認証可能な分布外（OOD）検出を強化すること。

提案手法

• INVPROPは境界伝播を逆方向に一般化し、出力制約をネットワークを遡って伝播させ、中間層の境界をタイトニングする。
• 出力制約を組み込んだ新しい逆方向伝播スキームを用いて、任意の中間層の境界を計算する。
• 線形計画法を避けるために、効率的な制約伝播を可能にする微分可能で微分可能な緩和技術を用いる。
• 前向きおよび逆方向の境界伝播を統合し、α,β-CROWNなどの最新技術ツールとの統合を可能にする。
• 全層にわたる反復的リファイニングを可能にし、よりタイトな過大近似を得るために、ネットワーク全体の構造を活用する。
• GPUアクセラレーションを実装し、高次元入力空間におけるスケーラビリティを設計している。

実験結果

リサーチクエスチョン

• RQ1 線形計画法に依存せずに、ニューラルネットワークの出力集合の前像を効率的に過大近似できるか？
• RQ2 出力制約は、逆方向伝播フレームワーク内で、どのように中間活性化の境界をタイトニングできるか？
• RQ3 INVPROPは、安全で制御が重要な制御システムにおける形式的検証の精度と速度をどの程度向上できるか？
• RQ4 出力制約を組み込むことで、INVPROPは認証可能な耐障害性検証を強化できるか？
• RQ5 INVPROPは、高信頼性の予測を引き起こす入力領域を特定することで、認証可能なOOD検出に利用できるか？

主な発見

• ドッブルインテグレータ制御ベンチマークにおいて、INVPROPは従来手法比で2500倍以上タイトな境界を達成し、2.5倍の高速化を実現した。
• 6次元クアッドローター系では、INVPROPは257倍のタイトニングと、3.29倍の高速化を達成した。
• 出力制約を組み込むことで、INVPROPはより強い耐障害性検証を可能にし、従来の最新技術よりも多くの性質を検証できた。
• INVPROPは、高信頼性の予測を引き起こす入力領域を特定することで、認証可能なOOD検出を向上させた。
• α,β-CROWN検証器に統合され、VNN-COMP 2023において最大167,000ニューロンを有する大規模モデルでも実用的なスケーラビリティを示した。
• INVPROPのGPUアクセラレーションとLP依存の欠如により、反復的リファイニング環境において、LPベースの代替手法よりも顕著に効率的であることが分かった。