[论文解读] Adversarial Examples in Deep Learning: Characterization and Divergence

Wenqi Wei, Ling Liu+5 more|arXiv (Cornell University)|Jun 29, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用 25

一句话总结

本文通过基于成功率、扰动幅度和预测熵将攻击分类为'简单'和'困难'，对深度学习中的对抗性样本进行了原则性的统计表征。研究发现，对抗性行为在不同超参数和深度学习框架之间存在显著差异，为设计针对当前及未来攻击的鲁棒防御机制提供了关键洞见。

ABSTRACT

The burgeoning success of deep learning has raised the security and privacy concerns as more and more tasks are accompanied with sensitive data. Adversarial attacks in deep learning have emerged as one of the dominating security threat to a range of mission-critical deep learning systems and applications. This paper takes a holistic and principled approach to perform statistical characterization of adversarial examples in deep learning. We provide a general formulation of adversarial examples and elaborate on the basic principle for adversarial attack algorithm design. We introduce easy and hard categorization of adversarial attacks to analyze the effectiveness of adversarial examples in terms of attack success rate, degree of change in adversarial perturbation, average entropy of prediction qualities, and fraction of adversarial examples that lead to successful attacks. We conduct extensive experimental study on adversarial behavior in easy and hard attacks under deep learning models with different hyperparameters and different deep learning frameworks. We show that the same adversarial attack behaves differently under different hyperparameters and across different frameworks due to the different features learned under different deep learning model training process. Our statistical characterization with strong empirical evidence provides a transformative enlightenment on mitigation strategies towards effective countermeasures against present and future adversarial attacks.

研究动机与目标

• 开发一个原则性、整体性的框架，用于表征深度学习中的对抗性样本。
• 识别并分析对抗性行为在不同超参数和深度学习框架之间的差异。
• 建立统计度量标准（如成功率、扰动幅度和预测熵），以将对抗性攻击分类为简单或困难。
• 提供实证证据，证明在不同模型配置下对抗性攻击的有效性与不一致性。
• 通过揭示对抗性行为中多层级的不可预测性与不一致性，为未来缓解策略的设计提供洞见。

提出的方法

• 将对抗性样本提出为带有对抗性噪声注入的约束优化问题的一般公式。
• 基于统计度量（成功率、扰动变化程度、预测熵和成功攻击比例）将对抗性攻击分类为'简单'和'困难'。
• 在多种深度学习模型上进行广泛实验，涵盖不同的超参数（训练轮数、特征图大小）和框架（如TensorFlow、PyTorch）。
• 通过可视化对抗性样本的空间和统计特征，分析其构建方式与差异模式。
• 采用多框架集成策略，评估攻击在不同模型架构间的可迁移性与鲁棒性。
• 分析模型容量和训练过程对抗性行为的影响，突出因学习特征差异导致的不一致性。

实验结果

研究问题

• RQ1 如何利用成功率、扰动幅度和预测熵等统计度量，系统性地表征对抗性样本？
• RQ2 为何相同的对抗性攻击算法在不同超参数和深度学习框架下表现不同？
• RQ3 在模型行为和扰动特征方面，'简单'与'困难'对抗性攻击有何区别？
• RQ4 由于训练过程和学习特征的差异，对抗性行为在多大程度上出现分化？
• RQ5 对抗性样本的不一致性和不可预测性在多大程度上可为鲁棒防御机制的设计提供启示？

主要发现

• 即使使用相同的攻击算法，对抗性攻击在不同深度学习框架和超参数下也表现出显著差异。
• 在'简单'与'困难'攻击案例之间，成功率、扰动幅度和预测熵存在显著差异，其中困难攻击表现出较低的成功率和更高的扰动敏感性。
• 使用不同超参数（如训练轮数、特征图大小）训练的模型会学习到不同的特征表示，导致对抗性行为不一致。
• 同一个对抗性样本可能在一个框架中有效，但在另一个框架中失效，表明对抗性鲁棒性在未加审慎考虑的情况下无法在不同模型架构间迁移。
• 预测熵是攻击难度的强指标，困难攻击表现出更高的熵，表明模型预测具有更大的不确定性。
• 本研究揭示，对抗性行为具有多层次的不一致性，这使得在不考虑模型特异性差异的情况下设计通用防御机制变得极具挑战。