[论文解读] Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks

Yutian Pang, Sheng Cheng+2 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用 10

一句话总结

本文评估了贝叶斯神经网络（BNNs）在安全关键图像分类任务中对各类对抗性攻击和输入扰动的鲁棒性。结果表明，在未进行对抗性训练的情况下，BNNs 在受限的白盒对抗性攻击（尤其是 PGD 攻击）下相比确定性卷积神经网络（CNNs）实现了显著更高的准确率；仅分类器中的随机性即可提供强大的鲁棒性增益，表明这是一种轻量化但高效的防御策略，适用于实际部署。

ABSTRACT

To evaluate the robustness gain of Bayesian neural networks on image classification tasks, we perform input perturbations, and adversarial attacks to the state-of-the-art Bayesian neural networks, with a benchmark CNN model as reference. The attacks are selected to simulate signal interference and cyberattacks towards CNN-based machine learning systems. The result shows that a Bayesian neural network achieves significantly higher robustness against adversarial attacks generated against a deterministic neural network model, without adversarial training. The Bayesian posterior can act as the safety precursor of ongoing malicious activities. Furthermore, we show that the stochastic classifier after the deterministic CNN extractor has sufficient robustness enhancement rather than a stochastic feature extractor before the stochastic classifier. This advises on utilizing stochastic layers in building decision-making pipelines within a safety-critical domain.

研究动机与目标

• 评估贝叶斯神经网络（BNNs）在安全关键应用中对各种输入扰动和对抗性攻击的鲁棒性。
• 比较不同贝叶斯推理方法（贝叶斯反向传播（BBB）、变分推理（VI）、Flipout）在图像分类任务中的性能。
• 确定仅在分类器层引入随机性是否足以提升鲁棒性，而非在特征提取器中引入随机性。
• 评估 BNNs 在未进行对抗性训练的情况下对白盒和黑盒对抗性攻击的有效性。
• 探究 BNN 后验分布是否可作为部署系统中恶意活动的早期指示器。

提出的方法

• 采用具有权重分布的贝叶斯神经网络，使用变分推理和重参数化技术（如 Flipout、局部重参数化）。
• 应用多种贝叶斯推理方法：贝叶斯反向传播（BBB）、变分推理（VI），以及用于后验估计的 Flipout 近似。
• 使用 6 种输入扰动类型（高斯、泊松、S&P、RE、RE Colorful、斑点噪声）和 5 种白盒攻击（如 PGD、MIM、SPSA），采用 $L_\infty$ 威胁模型评估鲁棒性。
• 使用基于迁移的黑盒攻击方法（如 SPSA、MIM）评估不同模型间鲁棒性的泛化能力。
• 使用两个真实世界的安全关键数据集：GTSRB（德国交通标志识别）和 PlanesNet（飞机卫星图像）。
• 通过在扰动和对抗性攻击下测试准确率来衡量鲁棒性，并比较不同 BNN 变体的训练时间。

实验结果

研究问题

• RQ1 不同贝叶斯推理方法（BBB、VI、Flipout）在对抗输入扰动和对抗性攻击下的鲁棒性表现如何比较？
• RQ2 仅在分类器层引入随机性是否足以提供足够的鲁棒性增益，相较于在特征提取器中引入随机性？
• RQ3 贝叶斯神经网络是否能在未进行对抗性训练的情况下，对受限的白盒对抗性攻击实现显著的鲁棒性提升？
• RQ4 黑盒对抗性攻击在 BNN 上的表现如何？不同攻击类型（如 SPSA 与 MIM）的鲁棒性是否存在差异？
• RQ5 贝叶斯后验分布是否可作为检测部署系统中正在进行的对抗性活动的安全前兆？

主要发现

• 采用 Flipout 推理的 F-BNN 在干净 GTSRB 输入上达到 97.17% 的测试准确率，优于确定性 CNN 基线（96.28%）和其他 BNN 变体。
• 在 $\varepsilon = 0.10$ 的 PGD 攻击下，F-BNN 在 GTSRB 上保持 80.0% 的准确率，显著高于确定性 CNN 在类似条件下的约 60% 准确率。
• 仅在分类器层引入随机性（BNN）即可实现与全网络随机性（F-BNN）相当的鲁棒性，且训练时间增加极少。
• BNNs 在常见输入扰动（如高斯、泊松噪声）下表现出有限的鲁棒性增益，因为确定性 CNN 本身已具备较强的去噪能力。
• 在 GTSRB 上，$\varepsilon = 0.10$ 的 SPSA 攻击产生大范围、肉眼可见的扰动，并在所有模型上均失败，表明无约束攻击可压倒即使 BNNs 的防御能力。
• BNN 中的贝叶斯后验分布显示出作为检测对抗样本的安全前兆的潜力，提示其在机器学习系统网络安全监控中的实用价值。