[论文解读] A Tutorial on Adversarial Learning Attacks and Countermeasures

Cato Pauling, Michael Gimson+3 more|arXiv (Cornell University)|Feb 21, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本教程全面概述了对抗性机器学习攻击——包括逃避攻击、投毒攻击、模型窃取和推理攻击——并评估了当前最先进的防御机制，如对抗性训练、防御蒸馏以及MagNet的双组件框架（检测器与重构器）。研究表明，基于重构和流形接近性的防御方法可通过将输入重构为更接近干净数据分布的形态，有效缓解对抗性样本的影响。

ABSTRACT

Machine learning algorithms are used to construct a mathematical model for a system based on training data. Such a model is capable of making highly accurate predictions without being explicitly programmed to do so. These techniques have a great many applications in all areas of the modern digital economy and artificial intelligence. More importantly, these methods are essential for a rapidly increasing number of safety-critical applications such as autonomous vehicles and intelligent defense systems. However, emerging adversarial learning attacks pose a serious security threat that greatly undermines further such systems. The latter are classified into four types, evasion (manipulating data to avoid detection), poisoning (injection malicious training samples to disrupt retraining), model stealing (extraction), and inference (leveraging over-generalization on training data). Understanding this type of attacks is a crucial first step for the development of effective countermeasures. The paper provides a detailed tutorial on the principles of adversarial machining learning, explains the different attack scenarios, and gives an in-depth insight into the state-of-art defense mechanisms against this rising threat .

研究动机与目标

• 系统化理解不同攻击类型和系统阶段中的对抗性机器学习威胁。
• 分析机器学习模型在自动驾驶和防御系统等安全关键应用中的脆弱性。
• 评估现有防御机制，包括对抗性训练、防御蒸馏以及基于重构的方法。
• 突出在资源受限环境中部署有效防御所面临的挑战。
• 提出一个统一的威胁模型，基于攻击面、能力与目标对攻击进行分类。

提出的方法

• 基于攻击面、攻击者能力与对抗目标，提出统一的威胁模型，并应用于训练与推理阶段。
• 将攻击划分为四类：逃避攻击（输入扰动）、投毒攻击（恶意训练数据注入）、模型窃取（模型提取）和推理攻击（过度泛化利用）。
• 提出MagNet，一种双组件防御机制：利用自编码器重构误差检测对抗性输入的检测器，以及将输入重构至数据流形上的重构器。
• 使用自编码器学习干净数据的分布，从而实现将对抗性样本重构为良性样本。
• 基于重构误差的概率距离度量用于区分干净输入与对抗性输入，提升鲁棒性。
• 在重构器中采用多个自编码器的随机选择策略，以增强防御多样性，阻碍对抗性适应。

实验结果

研究问题

• RQ1 如何基于攻击面、能力与目标对对抗性攻击进行系统性分类？
• RQ2 机器学习模型在训练与推理阶段存在哪些关键脆弱性，可供攻击者利用？
• RQ3 基于重构的防御机制（如MagNet）在检测与纠正对抗性样本方面的有效性如何？
• RQ4 在资源受限系统中，防御鲁棒性与计算开销之间的权衡关系是什么？
• RQ5 如何使防御机制对能够针对性绕过单模型防御的自适应攻击者具备韧性？

主要发现

• 对抗性攻击对机器学习系统构成重大威胁，尤其在自动驾驶和防御系统等安全关键领域。
• 对抗性训练与防御蒸馏等防御方法虽可提升鲁棒性，但可能无法完全抵御自适应攻击者。
• MagNet的检测器通过测量重构误差有效识别对抗性样本，重构误差越高，表示与数据流形的偏离越明显。
• MagNet的重构器组件成功将对抗性输入重构为更接近干净数据的形态，显著降低误分类率。
• 在重构器中随机选择多个自编码器可增强防御多样性，降低对抗性攻击成功的可能性。
• 尽管已有进展，但在计算资源有限的系统中高效部署防御措施仍具挑战性。