[论文解读] Adversarial Learning in Statistical Classification: A Comprehensive Review of Defenses Against Attacks

David J. Miller, Zhen Xiang+1 more|arXiv (Cornell University)|Apr 12, 2019

Adversarial Robustness in Machine Learning参考文献 93被引用 22

一句话总结

本文全面综述了深度神经网络分类器中对抗性学习防御技术，分析了测试时逃避攻击、数据中毒攻击、后门攻击以及逆向工程攻击。通过技术评估检验防御措施，挑战了传统认知，并突出说明了检测语义完整性攻击（如“另类事实”）的困难性，这类攻击可规避统计检测。

ABSTRACT

There is great potential for damage from adversarial learning (AL) attacks on machine-learning based systems. In this paper, we provide a contemporary survey of AL, focused particularly on defenses against attacks on statistical classifiers. After introducing relevant terminology and the goals and range of possible knowledge of both attackers and defenders, we survey recent work on test-time evasion (TTE), data poisoning (DP), and reverse engineering (RE) attacks and particularly defenses against same. In so doing, we distinguish robust classification from anomaly detection (AD), unsupervised from supervised, and statistical hypothesis-based defenses from ones that do not have an explicit null (no attack) hypothesis; we identify the hyperparameters a particular method requires, its computational complexity, as well as the performance measures on which it was evaluated and the obtained quality. We then dig deeper, providing novel insights that challenge conventional AL wisdom and that target unresolved issues, including: 1) robust classification versus AD as a defense strategy; 2) the belief that attack success increases with attack strength, which ignores susceptibility to AD; 3) small perturbations for test-time evasion attacks: a fallacy or a requirement?; 4) validity of the universal assumption that a TTE attacker knows the ground-truth class for the example to be attacked; 5) black, grey, or white box attacks as the standard for defense evaluation; 6) susceptibility of query-based RE to an AD defense. We also discuss attacks on the privacy of training data. We then present benchmark comparisons of several defenses against TTE, RE, and backdoor DP attacks on images. The paper concludes with a discussion of future work.

研究动机与目标

• 综述并技术评估近期针对深度神经网络分类器对抗性攻击的防御措施。
• 区分鲁棒分类与异常检测作为防御策略，并评估其有效性。
• 挑战对抗性机器学习中的常见假设，例如“更强的攻击总是更有效”的信念。
• 探究标准评估范式（如黑盒与白盒假设）的局限性。
• 探索语义完整性攻击的检测方法，例如“另类事实”或可规避统计分析的数据操纵。

提出的方法

• 将对抗性攻击分为四类：测试时逃避攻击（TTE）、数据 poisoning（DP）、后门 DP 和逆向工程（RE）。
• 通过技术标准评估防御措施：超参数需求、计算复杂度、性能指标和鲁棒性。
• 采用贝信息准则（BIC）的统计假设检验进行异常检测，建模原假设（干净数据）与备择假设（异常数据）的分布。
• 利用惩罚对数似然的模型选择方法检测测试数据中的异常簇，特别适用于识别数据 poisoning 攻击。
• 提出数据溯源与密码学技术（如区块链）对于检测语义完整性攻击至关重要。
• 在图像数据集上对 TTE、RE 和后门攻击的防御措施进行基准比较，强调其在现实场景中的适用性。

实验结果

研究问题

• RQ1 鲁棒分类与异常检测作为对抗性攻击的防御策略，其效果如何比较？
• RQ2 增强攻击强度是否总是导致更高的成功率，还是与通过异常检测的可检测性存在权衡？
• RQ3 认为小扰动是有效测试时逃避攻击的必要条件的假设是否成立，还是存在误解？
• RQ4 在真实场景中，假设 TTE 攻击者知晓输入的真实类别这一假设在多大程度上成立？
• RQ5 评估防御鲁棒性时，最合适的威胁模型是黑盒、灰盒还是白盒？

主要发现

• 异常检测防御对大多数对抗性攻击（包括 TTE、DP 和 RE）有效，但对语义完整性攻击（如“另类事实”）无效。
• 基于 BIC 的模型选择统计防御方法可在拥有干净参考数据集时检测数据 poisoning 攻击。
• 测试时逃避攻击中，小扰动并非严格必要；部分攻击在使用更大、更易检测的改变时仍可成功。
• 攻击者知晓真实类别这一假设在现实中往往不现实，可能导致在真实场景中高估攻击成功率。
• 基于查询的逆向工程攻击易受异常检测影响，尤其当攻击者的查询偏离正常数据模式时。
• 通过显著改变内容语义（如修改文档中的一个词）的语义攻击，仅靠统计方法极难检测，必须依赖密码学溯源追踪。