[論文レビュー] A Statistical Approach to Assessing Neural Network Robustness

Stefan Webb, Tom Rainforth+2 more|arXiv (Cornell University)|Nov 17, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 18

ひとこと要約

この論文は、入力分布下での特性違反の確率を推定することでニューラルネットワークのロバストネスを評価する統計的フレームワークを提案する。適応的マルチレベルスプリッティング（AMLS）を用いて、まれな事象の確率を効率的に推定する。この手法は、スケーラブルで情報豊富なロバストネス指標を提供する—違反がどれくらいの確率で発生するかを定量化する—同時に、違反が検出されない場合には形式的統計的保証を提供する。従来の形式的検証に比べ、スケーラビリティと実用的な洞察の両面で優れている。

ABSTRACT

We present a new approach to assessing the robustness of neural networks based on estimating the proportion of inputs for which a property is violated. Specifically, we estimate the probability of the event that the property is violated under an input model. Our approach critically varies from the formal verification framework in that when the property can be violated, it provides an informative notion of how robust the network is, rather than just the conventional assertion that the network is not verifiable. Furthermore, it provides an ability to scale to larger networks than formal verification approaches. Though the framework still provides a formal guarantee of satisfiability whenever it successfully finds one or more violations, these advantages do come at the cost of only providing a statistical estimate of unsatisfiability whenever no violation is found. Key to the practical success of our approach is an adaptation of multi-level splitting, a Monte Carlo approach for estimating the probability of rare events, to our statistical robustness framework. We demonstrate that our approach is able to emulate formal verification procedures on benchmark problems, while scaling to larger networks and providing reliable additional information in the form of accurate estimates of the violation probability.

研究の動機と目的

• バイナリ形式的検証の限界を是正すること—違反が存在する場合にロバストネスを定量化できないこと、大規模なネットワークではスケーラビリティに問題があること。
• 与えられた入力分布下での特性違反の確率を推定する、実用的でスケーラブルなロバストネス指標を提供すること。
• 形式的検証が非現実的となる大規模ニューラルネットワークにおいて、極めて低い違反確率を信頼性高く推定できること。
• ネットワークが完全にロバストでない場合でも意味のあるロバストネスの洞察を提供する統計的代替手法を提供すること。
• この手法が、ベンチマーク問題において形式的検証を模倣可能であり、より大規模なアーキテクチャにスケーリングできることを示すこと。

提案手法

• この手法は、ニューラルネットワーク検証を、指定された入力分布下での特性違反の確率推定問題に再定式化する。
• まれな事象の確率推定に特化したモンテカルロ技法である適応的マルチレベルスプリッティング（AMLS）を用い、低確率の違反を効率的にサンプリング・推定する。
• AMLSアルゴリズムは、違反の深刻度に応じた中間レベルを経て、入力の集団を段階的に進化させることで、まれな事象のサンプリング効率を向上させる。
• このアプローチはアーキテクチャに依存せず、区分線形性やリプシッツ連続性といった仮定を必要としない。
• 副次的に多様な adversarial 例を生成するため、解釈可能性と診断的価値が向上する。
• 違反が検出されない場合には、ユーザーが指定した許容誤差範囲内で不満た可能性の統計的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 統計的手法は、バイナリ形式的検証に比べ、ニューラルネットワークのロバストネスに対してより情報豊かな指標を提供できるか？
• RQ2 まれな事象の確率推定を、ニューラルネットワークのロバストネスを定量化するために効果的に応用できるか？
• RQ3 この手法は、形式的検証が非現実的となる大規模なニューラルネットワークにどの程度スケーリングできるか？
• RQ4 非常に低い違反確率を高い信頼性で信頼性高く推定できるか？
• RQ5 形式的検証の境界と比較して、統計的ロバストネス推定は正確性と実用的有用性の面でどの程度優れているか？

主な発見

• この手法は、満たされるベンチマーク問題において形式的検証を効果的に模倣し、違反の検出および非検出の両方で高い信頼性を達成した。
• 非満たされる特性に対しては、違反確率の統計的保証上限を提供し、サンプリングを増やすことで信頼区間が収束することが確認された。
• このアプローチは、前方伝搬のコストに比例して線形にスケーリング可能であり、形式的検証が対応できないより大規模なネットワークへの適用を可能にした。
• この手法は副次的に多様な adversarial 例を生成し、単なる存在確認を越えた追加の診断的洞察を提供した。
• Wong & Kolter (2018) と比較して、GPUメモリの爆発的増大を回避しながら、閾値未満の違反頻度を有意味な境界で制限した。
• AMLSの適応がニューラルネットワークのロバストネスに有効であることを示し、ベースラインのモンテカルロサンプリングに比べ、まれな事象の推定において高い効率性を示した。