[論文レビュー] Formal Security Analysis of Neural Networks using Symbolic Intervals

Shiqi Wang, Kexin Pei+3 more|arXiv (Cornell University)|Apr 28, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 152

ひとこと要約

ReluValは象徴的区間解析と反復的な精練を用いて、SMTソルバーを使わずにDNNのセキュリティ特性を形式的に検証し、Reluplexより著しい高速化を達成するとともに、具体的な保証または反例を提供する。

ABSTRACT

Due to the increasing deployment of Deep Neural Networks (DNNs) in real-world security-critical domains including autonomous vehicles and collision avoidance systems, formally checking security properties of DNNs, especially under different attacker capabilities, is becoming crucial. Most existing security testing techniques for DNNs try to find adversarial examples without providing any formal security guarantees about the non-existence of such adversarial examples. Recently, several projects have used different types of Satisfiability Modulo Theory (SMT) solvers to formally check security properties of DNNs. However, all of these approaches are limited by the high overhead caused by the solver. In this paper, we present a new direction for formally checking security properties of DNNs without using SMT solvers. Instead, we leverage interval arithmetic to compute rigorous bounds on the DNN outputs. Our approach, unlike existing solver-based approaches, is easily parallelizable. We further present symbolic interval analysis along with several other optimizations to minimize overestimations of output bounds. We design, implement, and evaluate our approach as part of ReluVal, a system for formally checking security properties of Relu-based DNNs. Our extensive empirical results show that ReluVal outperforms Reluplex, a state-of-the-art solver-based system, by 200 times on average. On a single 8-core machine without GPUs, within 4 hours, ReluVal is able to verify a security property that Reluplex deemed inconclusive due to timeout after running for more than 5 days. Our experiments demonstrate that symbolic interval analysis is a promising new direction towards rigorously analyzing different security properties of DNNs.

研究の動機と目的

• セキュリティが重要な領域において、DNNに対する形式的なセキュリティ保証の必要性を喚起する。
• 入力-出力のセキュリティ特性を検証するため、区間算術を用いたソルバー不要のアプローチを提案する。
• 入力依存性による区間過大評価を、象徴的区間と反復的精練によって緩和する。
• 手法がスケーラブルで、関連ベンチマークでソルバー系手法より優れていることを示す。

提案手法

• 区間算術を用いて入力区間をDNNへ伝播させ、出力の境界を得る。
• 線形の象徴的境界を追跡する象徴的区間伝播によって依存性由来の過大評価を緩和する。
• 入力範囲を二等分して出力境界を狭める反復的区間精練を適用する。
• ReLUの非線形性により依存関係を保持できない場合は、象徴的境界を具体化する。
• 層ごとの勾配を推定して入力の影響を分析し、精練を導く。
• 包含性の単調性とリプシッツ連続性に基づく正しさの証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 区間算術を象徴的区間で増強した場合、DNNがある入力範囲内でセキュリティ特性を満たさないことを正式に保証できるか。
• RQ2 反復的区間精練はリプシッツ連続のDNNに対して任意に厳密な境界へ収束するか、そしてこれをソルバー系手法と照合するとどうなるか。
• RQ3 象徴的区間と影響分析は出力境界の厳密さと検証効率にどう寄与するか。
• RQ4 ReluValはACAS XuとMNISTネットワークでReluplexと比較して実践的にどの程度通用するか。
• RQ5 実世界のDNNに対するソルバー無し検証アプローチの実用的な限界とスケーラビリティはどの程度か。

主な発見

• ReluValはACAS XuとMNISTネットワークのすべての検証されたセキュリティ特性に対して正式な保証を提供できる。
• ReluValは報告された特性においてReluplexより平均して200倍速い。
• ReluValはReluplexが5日後に結論なしと判断したセキュリティ特性を4時間以内に検証できる。
• 象徴的区間は入力依存性を活用することで過大評価を減らし、境界精度を大幅に改善する。
• 反復的区間精練はリプシッツ連続のDNNに対して有限ステップで収束し、十分な精練を行えば任意に厳密な境界を得られる。
• MNIST実験では、指定された攻撃範囲の下で39.4%の5000件のランダムなテスト画像について頑健性検証を示した。