[论文解读] Detecting Adversarial Examples via Key-based Network

Pinlong Zhao, Zhouyu Fu+3 more|arXiv (Cornell University)|Jun 2, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 8

一句话总结

本文提出一种基于检测的防御方法——基于密钥的网络，通过利用错误校正输出码（ECOC）和在随机标签子集上训练的二元分类器，识别对抗性样本。与先前方法不同，该方法仅需正常训练数据，且由于其随机编码方案，对多种攻击具有鲁棒性，在干净图像上的准确率下降极小，检测率极高。

ABSTRACT

Though deep neural networks have achieved state-of-the-art performance in visual classification, recent studies have shown that they are all vulnerable to the attack of adversarial examples. Small and often imperceptible perturbations to the input images are sufficient to fool the most powerful deep neural networks. Various defense methods have been proposed to address this issue. However, they either require knowledge on the process of generating adversarial examples, or are not robust against new attacks specifically designed to penetrate the existing defense. In this work, we introduce key-based network, a new detection-based defense mechanism to distinguish adversarial examples from normal ones based on error correcting output codes, using the binary code vectors produced by multiple binary classifiers applied to randomly chosen label-sets as signatures to match normal images and reject adversarial examples. In contrast to existing defense methods, the proposed method does not require knowledge of the process for generating adversarial examples and can be applied to defend against different types of attacks. For the practical black-box and gray-box scenarios, where the attacker does not know the encoding scheme, we show empirically that key-based network can effectively detect adversarial examples generated by several state-of-the-art attacks.

研究动机与目标

• 为解决深度神经网络对对抗性样本的脆弱性问题，这些样本可通过难以察觉的扰动误导模型。
• 开发一种无需事先了解对抗性样本生成过程的防御机制。
• 实现在包括黑盒和灰盒环境在内的多种攻击类型下检测对抗性样本。
• 在有效拒绝对抗性输入的同时，保持对正常输入的高准确率。
• 通过确保基于密钥的网络与标准网络之间标签预测重叠度低，使防御对迁移攻击具有鲁棒性。

提出的方法

• 基于密钥的网络在随机选择的标签子集对上训练多个二元分类器，为每个类别生成唯一的二进制码向量（签名）。
• 每个类别根据训练好的二元分类器的预期输出，基于二进制向量进行编码，形成该类别的签名。
• 推理阶段，模型计算测试图像的输出码，并与存储的类别签名进行比较；码不匹配表明输入为对抗性样本。
• 该方法依赖错误校正输出码（ECOC）以增强鲁棒性，即使出现轻微码不匹配也能实现检测。
• 编码方案为随机选择并保密，使攻击者难以逆向工程或规避检测。
• 该防御通过将原始网络的logits和Softmax层替换为基于密钥的码映射，作为插件式模块集成，保留原始网络结构。

实验结果

研究问题

• RQ1 是否可以在不依赖对抗性样本生成过程知识的前提下，实现有效的基于检测的防御？
• RQ2 基于错误校正输出码的随机编码方案是否能提升对多种对抗性攻击的鲁棒性？
• RQ3 基于密钥的网络是否能在保持对正常输入高准确率的同时，有效检测对抗性样本？
• RQ4 基于密钥的网络在多大程度上能抵抗来自其他模型的迁移攻击？
• RQ5 检测性能对码长和网络架构的变化有多敏感？

主要发现

• 在黑盒设置下，基于密钥的网络在FGSM攻击中的检测率达到98.5%，在DeepFool攻击中达到96.7%，表现出强大的泛化能力。
• 在随机输入上，基于密钥的网络与基线模型之间的预测重叠仅为0%，表明两者无显著相关性，对迁移攻击具有强抵抗力。
• 对于带有随机噪声的正常图像，基于密钥的网络与基线模型之间的预测重叠为19.48%，显著低于其他基线模型，表明输入-输出映射具有显著差异。
• 该方法在干净图像上造成极小的准确率损失，在不同网络架构（如Baseline2、Baseline3、Baseline4）下均无明显下降。
• 检测性能在不同码长下保持稳定，未观察到显著的性能下降或提升，表明对码长选择具有鲁棒性。
• 该框架与网络架构无关，可应用于广泛的深度神经网络，无需修改底层模型结构。