[論文レビュー] Correctness Verification of Neural Networks

Yichen Yang, Martin Rinard|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 9

ひとこと要約

本論文は、世界の状態空間と観測プロセスを定義することで、認識タスクにおけるニューラルネットワークの正しさをグローバルに検証する新しいフレームワークを提案する。タイリングとロバストネス検証技術を用いて、目的の入力空間全体にわたる予測誤差の上界を計算し、意図しないドメイン外の入力を検出することで、正しさの保証を提供するか、危険な入力をアラートする。

ABSTRACT

We present a novel framework for specifying and verifying correctness globally for neural networks on perception tasks. Most previous works on neural network verification for perception tasks focus on robustness verification. Unlike robustness verification, which aims to verify that the prediction of a network is stable in some local regions around labelled points, our framework provides a way to specify correctness globally in the whole target input space and verify that the network is correct for all target inputs (or find the regions where the network is not correct). We provide a specification through 1) a state space consisting of all relevant states of the world and 2) an observation process that produces neural network inputs from the states of the world. Tiling the state and input spaces with a finite number of tiles, obtaining ground truth bounds from the state tiles and network output bounds from the input tiles, then comparing the ground truth and network output bounds delivers an upper bound on the network output error for any inputs of interest. The presented framework also enables detecting illegal inputs -- inputs that are not contained in (or close to) the target input space as defined by the state space and observation process (the neural network is not designed to work on them), so that we can flag when we don't have guarantees. Results from two case studies highlight the ability of our technique to verify error bounds over the whole target input space and show how the error bounds vary over the state and input spaces.

研究の動機と目的

• 局所的なロバストネスではなく、目的の入力空間全体にわたるニューラルネットワークの正しさを検証するための体系的な手法の欠如に対処すること。
• 定義された入力空間内のすべての入力に対して、指定された許容誤差内での正確な予測を保証する、形式的な正しさの保証を提供すること。
• 意図しない入力空間外の入力を検出し、それらがおそらく危険またはサポートされていないとアラートすること。
• 多様な入力領域にわたるニューラルネットワークの挙動を体系的に検証できること、特に予測が失敗する可能性がある脆弱な領域を同定できること。

提案手法

• すべての関連する世界状態を表す状態空間と、状態をニューラルネットワークの入力にマッピングする観測プロセスを定義し、これにより目的の入力空間が形成される。
• 状態空間を有限の領域にタイリングし、各領域は境界付きの真値出力を持つ世界状態の集合を表す。
• 観測プロセスを介して各状態タイルを入力空間に投影し、各入力タイルを形成する。各入力タイルは、可能な入力のボクシングボックスを持つ。
• ロバストネス検証技術を用いて、各入力タイルに対するニューラルネットワーク出力の上界と下界を計算する。
• 状態タイルからの真値の境界と、入力タイルからのネットワーク出力境界を比較し、各タイルごとの予測誤差の上界を導出する。
• 目的の入力空間外の入力を「不正」としてアラートし、ここでは正しさの保証が適用されない。

実験結果

リサーチクエスチョン

• RQ1 我々は、ローカルな検証ではなく、目的の入力空間全体にわたって指定された許容誤差内での正しい予測を形式的に検証できるか？
• RQ2 どのようにして、正しさの保証が成り立たない意図しないドメイン外の入力を体系的に検出できるか？
• RQ3 入力空間のタイリング解像度と検証アルゴリズムの選択が、検証のパフォーマンスと正確性に与える影響は何か？
• RQ4 このフレームワークは、ネットワークが誤分類に陥りやすい入力空間のどの領域を特定できるか？

主な発見

• フレームワークは、多数の目的入力空間で誤差が低く抑えられることを成功裏に検証した。すべての検証済み領域で最大誤差が上限に抑えられていた。
• LiDARの事例研究において、SATベースの検証を用いた適応的タイリングは、固定タイリングに比べて5倍の高速化を達成し、98.3%の領域を検証した。
• SATベースのBNN検証は、MILPベースの実数値ネットワーク検証に比べて200〜500倍高速であり、顕著なパフォーマンス向上を示した。
• 小さなタイルサイズは、ボクシングボックス内の余分な空間を最小限に抑えるため、不正入力検出における誤検出を減少させた。
• フレームワークは、外見が類似した入力が誤分類を引き起こす事例を同定し、特定の入力領域におけるネットワークの脆弱性を明らかにした。
• この手法により、目的の入力空間外の入力を検出でき、実行時におけるおそらく危険な予測のアラートが可能になった。