[论文解读] Efficient Neural Network Robustness Certification with General Activation Functions

Huan Zhang, Tsui-Wei Weng+3 more|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 209

一句话总结

CROWN 提供一个通用框架，通过自适应线性（可选二次）代理来对任意激活函数的神经网络进行鲁棒性认证，提升认证界以及可扩展性，适用于大规模网络。

ABSTRACT

Finding minimum distortion of adversarial examples and thus certifying robustness in neural network classifiers for given data points is known to be a challenging problem. Nevertheless, recently it has been shown to be possible to give a non-trivial certified lower bound of minimum adversarial distortion, and some recent progress has been made towards this direction by exploiting the piece-wise linear nature of ReLU activations. However, a generic robustness certification for general activation functions still remains largely unexplored. To address this issue, in this paper we introduce CROWN, a general framework to certify robustness of neural networks with general activation functions for given input data points. The novelty in our algorithm consists of bounding a given activation function with linear and quadratic functions, hence allowing it to tackle general activation functions including but not limited to four popular choices: ReLU, tanh, sigmoid and arctan. In addition, we facilitate the search for a tighter certified lower bound by adaptively selecting appropriate surrogates for each neuron activation. Experimental results show that CROWN on ReLU networks can notably improve the certified lower bounds compared to the current state-of-the-art algorithm Fast-Lin, while having comparable computational efficiency. Furthermore, CROWN also demonstrates its effectiveness and flexibility on networks with general activation functions, including tanh, sigmoid and arctan.

研究动机与目标

• 为具有非 ReLU 激活函数和通用架构的神经网络的鲁棒性认证提供动机。
• 开发一个通用框架，在输入扰动下对任意激活函数的网络输出进行界定。
• 使代理界的自适应选择能够收紧对最小对抗扰动的认证下界。
• 证明对大规模网络的可扩展性并与最先进的认证方法进行比较。

提出的方法

• 引入 CROWN，一个使用线性和二次界限来代理一般激活函数的框架。
• 推导具有前激活值界限的 m 层网络的显式输出界限。
• 通过线性代理给出对椭球/ℓp扰动集的全局封闭形式界限。
• 提供一个自适应方案，为每个神经元选择代理斜率以收紧界限。
• 扩展到二次界限以可能为界限获取凸优化子问题。
• 证明 Fast-Lin 是 CROWN 的一个特例，并展示在 ReLU 网络上的认证界限改进以及对 tanh、sigmoid 和 arctan 的适用性。

实验结果

研究问题

• RQ1 鲁棒性认证如何扩展到非线性 ReLU 以外的通用激活函数？
• RQ2 自适应线性（可选二次）代理是否能够为最小对抗扰动的认证下界带来更紧的结果？
• RQ3 在 ReLU 和非 ReLU 激活的网络上，CROWN 相较现有方法的性能、可扩展性和准确性如何？
• RQ4 在保持计算效率的同时，CROWN 在大规模神经网络上能在多大程度上提升认证界限？

主要发现

• CROWN 为每个输出单元在 ℓp扰动下给出显式输出下界 f_j^L(x) 与 f_j^U(x)。
• 自适应代理选择能够得到更紧的认证下界，实验中相较 Fast-Lin 有显著提升，最高提升可达 26%。
• CROWN 具备可扩展性，在单个 CPU 内核大约 1 分钟即可获得包含超过 10,000 个神经元的网络的认证下界。
• CROWN 可以推广到 ReLU 以外的激活函数，包括 tanh、sigmoid 和 arctan，同时保持竞争性的效率。
• Fast-Lin 是具有固定代理斜率的 CROWN 的特例。
• CROWN 的二次扩展（CROWN-Quad）进一步将框架扩展到可能的凸子问题以获得界限。