[论文解读] Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network

Xuanqing Liu, Yao Li+2 more|arXiv (Cornell University)|Oct 1, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用 89

一句话总结

Adv-BNN 通过使权重随机化并优化鲁棒 ELBO，在对 CIFAR-10、STL-10 和 ImageNet-143 子集的强白盒 PGD 攻击中实现了对鲁棒性的提升。

ABSTRACT

We present a new algorithm to train a robust neural network against adversarial attacks. Our algorithm is motivated by the following two ideas. First, although recent work has demonstrated that fusing randomness can improve the robustness of neural networks (Liu 2017), we noticed that adding noise blindly to all the layers is not the optimal way to incorporate randomness. Instead, we model randomness under the framework of Bayesian Neural Network (BNN) to formally learn the posterior distribution of models in a scalable way. Second, we formulate the mini-max problem in BNN to learn the best model distribution under adversarial attacks, leading to an adversarial-trained Bayesian neural net. Experiment results demonstrate that the proposed algorithm achieves state-of-the-art performance under strong attacks. On CIFAR-10 with VGG network, our model leads to 14\% accuracy improvement compared with adversarial training (Madry 2017) and random self-ensemble (Liu 2017) under PGD attack with $0.035$ distortion, and the gap becomes even larger on a subset of ImageNet.

研究动机与目标

• 通过将随机性与对抗训练相结合，激励鲁棒神经网络。
• 在贝叶斯神经网络框架内形式化一个小-大极大鲁棒优化问题。
• 开发使用 Bayes by Backprop 和权重变分后验的可扩展训练过程。
• 证明在多数据集上对强白盒对抗攻击的鲁棒性有所提升。

提出的方法

• 将所有网络权重建模为具有完全因子高斯后验 q(w|μ, s)。
• 使用高斯先验 p(w) 以获得闭式 KL 散度用于正则化。
• 通过在 γ-范数球内对对抗扰动输入进行极小化的鲁棒目标：min_adv_x ∥x_adv - x∥≤γ E_{w~q}[log p(y|x_adv, w)]。
• 使用 Bayes by Backprop 与重参数化 w = μ + exp(s) ⊙ ε 的近似，以获得无偏梯度估计。
• 通过在通过投影梯度下降（PGD）生成对抗样本和对 μ、s 的 SGD 更新之间交替来训练。
• 添加简化的缩放因子 α 到 KL 项，以平衡在不同数据集规模或模型规模下的正则化强度。

实验结果

研究问题

• RQ1 将对抗训练与贝叶斯神经网络结合，是否在鲁棒性方面优于单独的对抗训练或随机化防御？
• RQ2 在不同数据集和模型规模下，Adv-BNN 在强白盒 PGD 攻击下的表现如何？
• RQ3 权重不确定性在实际中对鲁棒性和预测性能有何影响？

主要发现

• Adv-BNN 在多个数据集上相较于对抗训练和 Random Self-Ensemble (RSE) 提供更强的鲁棒性。
• 在 PGD 攻击下，Adv-BNN 在可比扭曲度下对 CIFAR-10、STL-10 和 ImageNet-143 的测试准确率高于对抗训练。
• 鲁棒性提升是显著的（例如，在 CIFAR-10 上对 PGD 扭曲为 0.035 时，Adv-BNN 的表现比标准对抗训练有实质性提升）。
• 在与对抗训练结合使用时，权重不确定性提供的鲁棒性提升大于单独使用时的提升（仅 BNN 而不进行对抗训练时没有鲁棒性提升）。
• 该方法大约需要双倍的参数存储（均值和方差），训练时间开销适中，并且通过将层替换为变分等效层即可较容易地适配现有架构。