[论文解读] A Statistical Approach to Assessing Neural Network Robustness

Stefan Webb, Tom Rainforth+2 more|arXiv (Cornell University)|Nov 17, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 18

一句话总结

本文提出了一种统计框架，通过在输入分布下估计属性违反的概率，评估神经网络的鲁棒性，采用自适应多级分裂（AMLS）高效估计罕见事件概率。该方法提供了一种可扩展、信息丰富的鲁棒性度量——量化违反发生的可能性，同时在未发现违反时提供正式的统计保证，相较于传统验证在可扩展性和实际洞察力方面表现更优。

ABSTRACT

We present a new approach to assessing the robustness of neural networks based on estimating the proportion of inputs for which a property is violated. Specifically, we estimate the probability of the event that the property is violated under an input model. Our approach critically varies from the formal verification framework in that when the property can be violated, it provides an informative notion of how robust the network is, rather than just the conventional assertion that the network is not verifiable. Furthermore, it provides an ability to scale to larger networks than formal verification approaches. Though the framework still provides a formal guarantee of satisfiability whenever it successfully finds one or more violations, these advantages do come at the cost of only providing a statistical estimate of unsatisfiability whenever no violation is found. Key to the practical success of our approach is an adaptation of multi-level splitting, a Monte Carlo approach for estimating the probability of rare events, to our statistical robustness framework. We demonstrate that our approach is able to emulate formal verification procedures on benchmark problems, while scaling to larger networks and providing reliable additional information in the form of accurate estimates of the violation probability.

研究动机与目标

• 解决二值形式验证的局限性，后者在存在违反时无法量化鲁棒性，且在大型网络中面临可扩展性挑战。
• 提供一种实用、可扩展的鲁棒性度量，估计在给定输入分布下属性违反的概率。
• 实现在形式验证不可行的大规模神经网络中，对极低违反概率的可靠估计。
• 提供一种统计替代方案，在网络并非完全鲁棒时仍能提供有意义的鲁棒性洞察。
• 证明该方法可在基准问题上模拟形式验证，同时扩展至更大架构。

提出的方法

• 该方法将神经网络验证重新表述为在指定输入分布下估计属性违反概率的问题。
• 采用自适应多级分裂（AMLS），一种用于罕见事件概率估计的蒙特卡洛技术，以高效采样并估计低概率违反。
• AMLS算法通过中间违反严重程度层级自适应演化输入种群，提升罕见事件的采样效率。
• 该方法与网络架构无关，无需假设如分段线性或Lipschitz连续性。
• 该方法作为副产品生成多样化的对抗样本，增强了可解释性和诊断价值。
• 当未发现违反时，该方法在用户定义的容差阈值内提供不满足性的统计保证。

实验结果

研究问题

• RQ1 统计方法能否为神经网络提供比二值形式验证更具信息量的鲁棒性度量？
• RQ2 如何有效应用罕见事件概率估计来量化神经网络的鲁棒性？
• RQ3 该方法在形式验证不可行的大规模神经网络中可扩展到何种程度？
• RQ4 该方法能否以高置信度可靠估计极低违反概率？
• RQ5 在准确性和实际效用方面，该统计鲁棒性估计与形式验证边界相比如何？

主要发现

• 该方法在可满足的基准问题上成功模拟了形式验证，在违反检测与非检测中均实现了高置信度。
• 对于不可满足的属性，该方法提供了违反概率的统计保证上界，且置信区间随采样增加而收紧。
• 该方法与前向传播成本呈线性关系，使其实现对形式验证无法处理的更大网络的应用。
• 该方法作为副产品生成多样化的对抗样本，提供了超越简单存在性检查的额外诊断洞察。
• 与Wong & Kolter（2018）相比，该方法在不引发GPU内存爆炸的情况下，提供了输入中违反发生率低于阈值的物理上有意义的边界。
• 与基线蒙特卡洛采样相比，该方法在罕见事件中效率更高，证明了AMLS在神经网络鲁棒性中的适应性有效性。