[论文解读] Formal Security Analysis of Neural Networks using Symbolic Intervals

Shiqi Wang, Kexin Pei+3 more|arXiv (Cornell University)|Apr 28, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用 152

一句话总结

ReluVal 使用符号区间分析和迭代细化，在不使用 SMT 求解器的情况下对 DNN 安全属性进行形式化验证，相对于 Reluplex 取得显著加速，并提供具体的保证或反例。

ABSTRACT

Due to the increasing deployment of Deep Neural Networks (DNNs) in real-world security-critical domains including autonomous vehicles and collision avoidance systems, formally checking security properties of DNNs, especially under different attacker capabilities, is becoming crucial. Most existing security testing techniques for DNNs try to find adversarial examples without providing any formal security guarantees about the non-existence of such adversarial examples. Recently, several projects have used different types of Satisfiability Modulo Theory (SMT) solvers to formally check security properties of DNNs. However, all of these approaches are limited by the high overhead caused by the solver. In this paper, we present a new direction for formally checking security properties of DNNs without using SMT solvers. Instead, we leverage interval arithmetic to compute rigorous bounds on the DNN outputs. Our approach, unlike existing solver-based approaches, is easily parallelizable. We further present symbolic interval analysis along with several other optimizations to minimize overestimations of output bounds. We design, implement, and evaluate our approach as part of ReluVal, a system for formally checking security properties of Relu-based DNNs. Our extensive empirical results show that ReluVal outperforms Reluplex, a state-of-the-art solver-based system, by 200 times on average. On a single 8-core machine without GPUs, within 4 hours, ReluVal is able to verify a security property that Reluplex deemed inconclusive due to timeout after running for more than 5 days. Our experiments demonstrate that symbolic interval analysis is a promising new direction towards rigorously analyzing different security properties of DNNs.

研究动机与目标

• 在安全关键领域为 DNN 需要形式化安全保证提供动机。
• 提出一种使用区间算术的无求解器方法来验证输入-输出安全属性。
• 通过符号区间和迭代细化来缓解输入相关性导致的区间过估计。
• 证明该方法具有可扩展性，在相关基准上可超越基于求解器的方法。

提出的方法

• 通过 DNN 传播输入区间以使用区间算术获得输出界限。
• 用追踪线性符号界限的符号区间传播来缓解由依赖性引起的过估计。
• 通过对输入范围进行二分分区来迭代缩小输出界限。
• 在 ReLU 非线性导致无法维持依赖时，将符号界限具体化。
• 通过估计层级梯度来分析输入影响以指导细化。
• 基于包含性单调性和 Lipschitz 连续性提供正确性证明。

实验结果

研究问题

• RQ1 带有符号区间的区间算术是否能在给定输入范围内对 DNN 不违反安全属性提供正式保证？
• RQ2 对于 Lipschitz 连续的 DNN，迭代区间细化是否收敛到任意接近的界限，与基于求解器的方法相比如何？
• RQ3 符号区间和影响分析如何影响输出界限的紧凑性和验证效率？
• RQ4 ReluVal 在 ACAS Xu 和 MNIST 网络上的实际表现相对于 Reluplex 如何？
• RQ5 面向现实世界 DNN 的无求解器验证方法的实际极限和可扩展性是什么？

主要发现

• ReluVal 可以为 ACAS Xu 和 MNIST 网络的所有测试安全属性提供正式保证。
• ReluVal 平均比 Reluplex 在所报告的属性上快 200 倍。
• ReluVal 能在 4 小时内验证一个 Reluplex 在 5 天后被视为未定性的安全属性。
• 符号区间通过利用输入相关性减少过估计，从而显著提高界限精度。
• 对 Lipschitz 连续的 DNN，迭代区间细化有限步内收敛，足够细化就可获得任意接近的界限。
• MNIST 实验在指定攻击边界下显示对 39.4% 的 5000 张随机测试图像的鲁棒性验证。