[論文レビュー] Efficient Formal Safety Analysis of Neural Networks

Shiqi Wang, Kexin Pei+3 more|arXiv (Cornell University)|Sep 19, 2018

Adversarial Robustness in Machine Learning被引用数 188

ひとこと要約

Neurify は Symbolic linear relaxation を導入し、Directed constraint refinement を用いてニューラルネットワークの安全性プロパティを正式に検証し、10,000 ReLUs を超えるネットワークにもスケールし、Reluplex および ReluVal を数オーダーの magnitude で上回る。

ABSTRACT

Neural networks are increasingly deployed in real-world safety-critical domains such as autonomous driving, aircraft collision avoidance, and malware detection. However, these networks have been shown to often mispredict on inputs with minor adversarial or even accidental perturbations. Consequences of such errors can be disastrous and even potentially fatal as shown by the recent Tesla autopilot crash. Thus, there is an urgent need for formal analysis systems that can rigorously check neural networks for violations of different safety properties such as robustness against adversarial perturbations within a certain $L$-norm of a given image. An effective safety analysis system for a neural network must be able to either ensure that a safety property is satisfied by the network or find a counterexample, i.e., an input for which the network will violate the property. Unfortunately, most existing techniques for performing such analysis struggle to scale beyond very small networks and the ones that can scale to larger networks suffer from high false positives and cannot produce concrete counterexamples in case of a property violation. In this paper, we present a new efficient approach for rigorously checking different safety properties of neural networks that significantly outperforms existing approaches by multiple orders of magnitude. Our approach can check different safety properties and find concrete counterexamples for networks that are 10$ imes$ larger than the ones supported by existing analysis techniques. We believe that our approach to estimating tight output bounds of a network for a given input range can also help improve the explainability of neural networks and guide the training process of more robust neural networks.

研究の動機と目的

• ニューラルネットワークを用いた安全性が重要な分野での形式的安全分析の必要性を動機づける。
• ニューラルネットワークの安全性プロパティを検証したり反例を見つけたりするための、正確でスケーラブルな手法を開発する。
• 境界の過大評価を減らすことによって、従来よりはるかに大規模なネットワークの解析を可能にする。
• 多様な特性、データセット、アーキテクチャに対する Neurify の性能を示す。

提案手法

• 出力境界を狭くするため、象徴的区間分析と線形緩和を組み合わせた象徴的線形緩和を導入する。
• 緩和中に過大評価されたノードを特定し、指向的制約精練によって精練する。
• 過大評価されたノードを優先して分割し、全探索なしで出力範囲を狭める。
• 線形求解器を用い（時には2次制約も）、安全性プロパティを検証し反例を生成する。
• 実際のネットワークを実行して反例を確認するか、境界を絞り込むことで、反復的にソルバーの結果を検証する。
• 入力摂動（L∞、L1、L2）によって定義された安全性プロパティと、分類間の出力不変性を検証する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな形式的解析フレームワークは、これまでの能力を超える大規模なニューラルネットワークに対して複数の安全性プロパティを検証できるだろうか？
• RQ2 象徴的線形緩和は、従来の区間法と比べて過大評価をどの程度軽減できるか？
• RQ3 指向的制約精練は、境界を信頼性高く狭め、large network に対して具体的な反例を提供するか？
• RQ4 多様なデータセットとアーキテクチャに対して、Neurify の Reluplex および ReluVal からの性能はどうか？

主な発見

• Neurify は 10,000 個を超える ReLUs を含むネットワークを解析し、従来手法を数オーダーの magnitude で上回る。
• 平均的には、Neurify は Reluplex より 5,000×、ReluVal より 20× 速い。
• このアプローチは、既存手法が対応する規模の 10 倍のネットワークにもスケールする。
• Neurify は 5 つのデータセットで学習した 9 ネットワークに対して、6 種類のプロパティタイプにわたり安全性プロパティを評価した。
• 本システムは具体的な反例と厳密な出力境界を示し、頑健性と説明性を支援した。