[论文解读] Adversarial Learning: A Critical Review and Active Learning Study

David J. Miller, Xinyi Hu+2 more|arXiv (Cornell University)|May 27, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用 6

一句话总结

本文提出了一种主动学习中的混合样本选择策略，以抵御在决策边界附近注入误导性样本的对抗性攻击。实验表明，结合不确定性采样与最大期望效用（MEU）采样可提高对这类攻击的鲁棒性，其中 p=0.75 在对抗攻击下使 MNIST 数字分类任务达到最稳定且最准确的收敛效果。

ABSTRACT

This papers consists of two parts. The first is a critical review of prior art on adversarial learning, identifying some significant limitations of previous works. The second part is an experimental study considering adversarial active learning and an investigation of the efficacy of a mixed sample selection strategy for combating an adversary who attempts to disrupt the classifier learning.

研究动机与目标

• 研究主动学习在对抗性攻击下的脆弱性，此类攻击通过在决策边界附近注入样本以降低分类器性能。
• 评估混合样本选择策略在防御此类对抗性操纵方面的有效性。
• 分析在对抗性条件下，主动学习中鲁棒性与收敛准确率之间的权衡。
• 探讨是否可在不依赖攻击模式先验知识或已标注对抗样本的情况下实现防御机制。

提出的方法

• 提出一种混合策略，结合不确定性采样（p=0）与最大期望效用（MEU，p=1），在主动学习中通过参数 p 平衡探索与利用。
• 使用线性 SVM 分类器在 MNIST 数据上对数字 '5' 和 '6' 进行区分，作为对抗攻击的测试平台。
• 通过将现有训练样本和未标注样本投影到当前决策边界，生成模糊且跨越边界的对抗样本。
• 使用一个原始分类器（在完整数据集上训练的 SVM）作为人工标注器，客观标注对抗样本，确保与最大间隔分离一致。
• 通过 10 次随机实验评估性能，采用平均测试误差作为指标，比较在有攻击与无攻击条件下的策略表现。
• 分析不同策略的收敛行为与类别平衡影响，特别关注 MEU 采样存在的类别偏向采样倾向。

Figure 1 : Candidate adversarial samples (green dots on the boundary)

实验结果

研究问题

• RQ1 不确定性采样在主动学习中对决策边界附近的对抗性数据注入有多脆弱？
• RQ2 在不掌握攻击模式先验知识的前提下，结合不确定性与 MEU 采样的混合策略能否提升对对抗攻击的鲁棒性？
• RQ3 混合参数 p 的变化如何影响主动学习在对抗攻击下的准确率与收敛稳定性？
• RQ4 MEU 采样是否因类别不平衡导致次优决策边界？这种问题能否通过混合策略缓解？
• RQ5 在对抗条件下，随机采样策略与自适应策略的性能表现如何比较？

主要发现

• 不确定性采样（p=0）对对抗攻击极为脆弱，因其持续选择被注入的对抗样本，导致在攻击下表现最差。
• MEU 采样（p=1）虽能实现初始误差的最快下降，但因类别偏向采样而收敛至次优决策边界，尤其在攻击条件下更为明显。
• 混合策略中 p ∈ [0.25, 0.75] 的表现随 p 增加而单调提升，其中 p=0.75 实现了最稳定且最准确的收敛。
• 随机采样策略对攻击具有鲁棒性，但在无攻击条件下无法收敛至高准确率，表明其学习效率低下。
• 在无攻击条件下，所有混合策略表现相近，证实该防御机制仅在对抗条件下具有实际优势。
• 与低维合成示例相比，攻击在高维设置（如 MNIST）中显著延缓学习进度，凸显了真实世界中此类攻击的严重性。

Figure 2 : Classifier decision boundary after initial training and after 9 queries without attack (dash lines) and with attack (solid lines).