[论文解读] Black-box Adversarial ML Attack on Modulation Classification

Muhammad Usama, Junaid Qadir+1 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 6被引用 2

一句话总结

本文评估了基于深度学习的调制分类器（CNN 和 LSTM）在对抗性攻击下的鲁棒性，采用 Carlini & Wagner（C-W）攻击进行黑盒攻击。通过在查询响应数据上训练一个替代深度神经网络（DNN），并利用其生成的对抗性样本进行迁移攻击，作者发现分类准确率下降了 60%，揭示了当前最先进模型存在显著脆弱性。

ABSTRACT

Recently, many deep neural networks (DNN) based modulation classification schemes have been proposed in the literature. We have evaluated the robustness of two famous such modulation classifiers (based on the techniques of convolutional neural networks and long short term memory) against adversarial machine learning attacks in black-box settings. We have used Carlini \& Wagner (C-W) attack for performing the adversarial attack. To the best of our knowledge, the robustness of these modulation classifiers has not been evaluated through C-W attack before. Our results clearly indicate that state-of-art deep machine learning-based modulation classifiers are not robust against adversarial attacks.

研究动机与目标

• 研究深度学习驱动的调制分类器在黑盒环境下的鲁棒性。
• 评估在替代模型上生成的对抗性样本是否能有效迁移至真实黑盒调制分类器并导致性能下降。
• 评估 Carlini & Wagner（C-W）攻击在调制分类任务中生成最优对抗性扰动的有效性。
• 揭示依赖 DNN 驱动调制识别的现代认知自组织网络所存在的脆弱性。
• 通过基于查询的数据采集，展示对抗性样本从替代模型向目标黑盒模型的迁移性。

提出的方法

• 攻击者通过作为普通用户查询黑盒调制分类器，收集查询-响应对。
• 在收集到的查询-响应数据上训练一个替代深度神经网络（DNN），以模仿目标分类器的行为。
• 在替代 DNN 上应用 Carlini & Wagner（C-W）攻击，生成在最小化扰动的同时导致误分类的对抗性样本。
• C-W 攻击的优化问题被表述为在满足误分类条件下最小化扰动的 L2 范数，其目标函数为：最小化 ∥η∥P + c·ℓ(x∗)，其中 x∗ ∈ [0,1]^n。
• 利用对抗性样本的迁移性，将从替代模型生成的对抗性样本迁移至原始黑盒模型。
• 通过测量原始黑盒模型在接收到迁移后的对抗性样本时的准确率下降情况，评估其性能。

实验结果

研究问题

• RQ1 黑盒对抗性攻击能否有效降低基于深度学习的调制分类器的性能？
• RQ2 在调制分类任务中，从替代模型生成的对抗性样本向真实黑盒模型的迁移性在多大程度上成立？
• RQ3 与 FGSM 等简单方法相比，Carlini & Wagner 攻击在生成调制分类任务的对抗性样本方面有多高效？
• RQ4 在黑盒对抗性攻击下，CNN 和 LSTM 驱动的调制分类器的性能下降幅度有多大？
• RQ5 在真实部署场景中，当面对最优对抗性扰动时，DNN 驱动的调制分类器的鲁棒性是否会被破坏？

主要发现

• Carlini & Wagner 攻击成功生成了对抗性样本，其在降低 CNN 和 LSTM 驱动调制分类器性能方面极为有效。
• 在将对抗性样本从替代模型迁移至目标模型后，CNN 和 LSTM 模型的分类准确率均下降了 60%。
• 性能下降结果证实，当前最先进的 DNN 驱动调制分类器在黑盒环境下对对抗性攻击缺乏鲁棒性。
• 对抗性样本从替代模型向真实黑盒模型的迁移性是有效的，验证了基于查询的黑盒攻击的可行性。
• 结果表明，即使对目标模型知之甚少，攻击者仍能显著破坏基于 DNN 的调制分类系统的可靠性。
• 本研究揭示了依赖深度学习进行调制识别的认知自组织网络中存在关键的安全漏洞。