[论文解读] Exploring the Back Alleys: Analysing The Robustness of Alternative Neural Network Architectures against Adversarial Attacks

Yi Tan, Yuval Elovici+1 more|arXiv (Cornell University)|Dec 8, 2019

Adversarial Robustness in Machine Learning参考文献 47被引用 5

一句话总结

本文研究了替代神经网络架构——特别是脉冲神经网络（SNNs）和随机人工神经网络（ANNs）——在原始图像空间中的对抗鲁棒性。研究发现，尽管随机ANN在简单白盒攻击（如BIM）下仍易受攻击，但在黑盒设置下，特别是在边界攻击和迁移攻击中表现出更强的鲁棒性。本文提出了方差模仿（VM）替代训练方法，以提升针对随机模型的黑盒攻击效果，并证明随机模型集成可在一定程度上增强网络对对抗样本的防御能力。

ABSTRACT

We investigate to what extent alternative variants of Artificial Neural Networks (ANNs) are susceptible to adversarial attacks. We analyse the adversarial robustness of conventional, stochastic ANNs and Spiking Neural Networks (SNNs) in the raw image space, across three different datasets. Our experiments reveal that stochastic ANN variants are almost equally as susceptible as conventional ANNs when faced with simple iterative gradient-based attacks in the white-box setting. However we observe, that in black-box settings, stochastic ANNs are more robust than conventional ANNs, when faced with boundary attacks, transferability and surrogate attacks. Consequently, we propose improved attacks and defence mechanisms for stochastic ANNs in black-box settings. When performing surrogate-based black-box attacks, one can employ stochastic models as surrogates to observe higher attack success on both stochastic and deterministic targets. This success can be further improved with our proposed Variance Mimicking (VM) surrogate training method, against stochastic targets. Finally, adopting a defender's perspective, we investigate the plausibility of employing stochastic switching of model mixtures as a viable hardening mechanism. We observe that such a scheme does provide a partial hardening.

研究动机与目标

• 评估替代神经网络架构（SNNs与随机ANNs）在原始图像空间中对对抗攻击的鲁棒性。
• 探究神经网络中的随机性是否相比传统ANNs能内在提升对对抗攻击的鲁棒性。
• 开发针对随机ANNs的改进黑盒攻击策略，特别是利用替代模型的方法。
• 探索在推理过程中使用随机模型混合是否可作为对抗攻击的可行防御机制。
• 比较不同攻击类型（白盒、黑盒、基于替代模型）在确定性与随机模型上的性能表现。

提出的方法

• 采用三个数据集——MNIST、CIFAR-10和PCam——对对抗鲁棒性进行综合评估。
• 以原始ResNet18作为基线模型，与SNNs（MCSEFRON和$SNN_{m}$）及随机ANNs（BSN和BNN）进行对比。
• 应用白盒攻击，包括FGSM、CWL2和BIM，并采用受先前工作启发的改进目标函数。
• 设计并实现基于替代模型的黑盒攻击，引入方差模仿（VM）以更好地匹配目标模型的随机行为。
• 提出一种随机模型混合防御策略，即在推理过程中在不同随机网络间随机切换。
• 通过t-SNE对logits和方差进行决策边界可视化，分析随机性对模型鲁棒性的影响。

实验结果

研究问题

• RQ1 在白盒与黑盒攻击设置下，SNNs与随机ANNs相较于传统ANNs在对抗鲁棒性方面表现如何？
• RQ2 网络权重或激活中的随机性在多大程度上能提升对对抗攻击的鲁棒性？
• RQ3 能否使基于替代模型的黑盒攻击对随机ANNs更有效？若可，如何改进替代训练？
• RQ4 在推理过程中使用随机模型混合是否可作为对抗样本的可行防御机制？
• RQ5 决策边界中的方差在多大程度上影响了针对随机网络成功构造对抗样本的难度？

主要发现

• 在白盒设置下，随机ANNs（BSN与BNN）对BIM等简单迭代攻击的脆弱性与传统ANNs几乎相当，表明其在强梯度攻击下鲁棒性有限。
• 在黑盒设置下，随机ANNs对边界攻击和基于迁移的攻击表现出显著更高的鲁棒性，表明随机性破坏了攻击的可迁移性。
• 基于替代模型的攻击在所有黑盒方法中取得了最高的攻击成功率（ASR），尤其当使用通过方差模仿（VM）训练的随机替代模型时，对随机目标模型的攻击性能得到提升。
• 所提出的方差模仿（VM）方法通过捕捉目标模型的随机行为，增强了替代训练，使所有测试的黑盒攻击中均达到最高ASR。
• 随机模型集成（即推理过程中在不同随机网络间随机切换）可降低攻击成功率（ASR），证明其对对抗样本具有部分硬化效果。
• t-SNE可视化结果证实，随机网络表现出更嘈杂、更尖锐且重叠度更高的决策边界，且方差区域密集，解释了其对边界攻击与迁移攻击的抵抗能力。