[论文解读] Adversarial Examples Detection with Bayesian Neural Network

Yao Li, Tongyi Tang+2 more|arXiv (Cornell University)|May 18, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出 BATer，一种基于贝叶斯神经网络的对抗样本检测器，通过利用 BNN 的随机性来建模隐藏层输出分布，并基于分布差异检测对抗样本。在 MNIST、CIFAR10 和 ImageNet-Sub 上，BATer 在多种攻击（包括高置信度攻击和定制化白盒攻击）下均优于当前最先进检测方法。

ABSTRACT

In this paper, we propose a new framework to detect adversarial examples motivated by the observations that random components can improve the smoothness of predictors and make it easier to simulate the output distribution of a deep neural network. With these observations, we propose a novel Bayesian adversarial example detector, short for BATer, to improve the performance of adversarial example detection. Specifically, we study the distributional difference of hidden layer output between natural and adversarial examples, and propose to use the randomness of the Bayesian neural network to simulate hidden layer output distribution and leverage the distribution dispersion to detect adversarial examples. The advantage of a Bayesian neural network is that the output is stochastic while a deep neural network without random components does not have such characteristics. Empirical results on several benchmark datasets against popular attacks show that the proposed BATer outperforms the state-of-the-art detectors in adversarial example detection.

研究动机与目标

• 解决确定性深度神经网络在安全关键应用中对对抗样本的脆弱性问题。
• 通过利用自然数据与对抗样本在隐藏层输出分布上的差异，提升对抗样本检测性能。
• 利用贝叶斯神经网络（BNN）固有的随机性，增强检测的鲁棒性与预测的平滑性。
• 在灰盒与白盒攻击设置下（包括定制化强攻击）评估检测性能。
• 证明在相同检测框架下，基于 BNN 的检测方法优于确定性方法。

提出的方法

• BATer 使用贝叶斯神经网络（BNNs）生成随机的隐藏层输出，从而实现对特征分布的概率建模。
• 通过计算选定层中自然样本与对抗样本隐藏层输出之间的分布差异（特别是 Wasserstein 距离）进行检测。
• 该方法选择分布发散最显著的关键隐藏层（通过索引集 𝒮 确定）用于检测。
• 该框架利用了对抗样本在隐藏层输出中标准差更高于自然数据的特性，尤其在深层网络中更为明显。
• 开发了一种定制化的白盒攻击（Restricted-PGD），通过最小化最终层的输出方差来测试鲁棒性，同时保持对抗攻击的成功率。
• 检测通过比较多次前向传播中 BNN 输出的离散程度（如标准差），并以分布差异作为检测信号。

Figure 1 : Framework of BATer . $k$ is the total number of hidden layers. $d_{j}$ represents the distribution distance measured from $j$ -th hidden layer. $\mathcal{S}$ is the index set of selected hidden layers.

实验结果

研究问题

• RQ1 贝叶斯神经网络的随机性是否可通过建模隐藏层输出分布来提升对抗样本检测能力？
• RQ2 自然样本与对抗样本在 BNN 隐藏表示中的分布差异如何增强检测性能？
• RQ3 BATer 在高置信度对抗样本（置信度为 10 和 20）下是否仍保持强检测性能，而传统检测器常在此类样本上失效？
• RQ4 一种通过操纵隐藏层方差来规避 BATer 的定制化白盒攻击是否有效？BATer 对此类攻击的鲁棒性如何？
• RQ5 在相同检测框架下，基于 BNN 的检测框架是否比确定性方法更有效？

主要发现

• BATer 在 MNIST、CIFAR10 和 ImageNet-Sub 上对多种攻击类型（包括 PGD、FGSM 和 C&W）的检测性能优于当前最先进方法。
• 该方法在高置信度对抗样本（置信度为 10 和 20）上仍保持强检测性能，而先前检测器常在此类样本上失效。
• 消融实验表明，在相同检测流程下，BNN 显著优于确定性网络的检测性能。
• 定制化的 Restricted-PGD 攻击虽降低了检测性能，但并未完全攻破 BATer，尤其在 MNIST 和 ImageNet-Sub 上表现稳健，表明其具备强鲁棒性。
• 对抗样本的隐藏层输出标准差始终高于自然样本，尤其在深层网络中更为显著，构成关键检测信号。
• 即使攻击者完全掌握分类器与检测器（白盒环境），该检测框架仍具有效性，表明其对复杂攻击具备强韧性。

Figure 2 : Illustration of Bayesian Neural Network.