[论文解读] A Survey on Poisoning Attacks Against Supervised Machine Learning

Wenjun Qiu|arXiv (Cornell University)|Feb 5, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本综述对监督机器学习模型的投毒攻击进行了全面分析，通过威胁模型、攻击者知识和攻击特异性对现有攻击进行分类。评估了相关方法，识别了关键局限性，并提出了未来研究方向，包括可扩展优化、检测指标，以及联邦学习和开放数据平台的防御措施。

ABSTRACT

With the rise of artificial intelligence and machine learning in modern computing, one of the major concerns regarding such techniques is to provide privacy and security against adversaries. We present this survey paper to cover the most representative papers in poisoning attacks against supervised machine learning models. We first provide a taxonomy to categorize existing studies and then present detailed summaries for selected papers. We summarize and compare the methodology and limitations of existing literature. We conclude this paper with potential improvements and future directions to further exploit and prevent poisoning attacks on supervised models. We propose several unanswered research questions to encourage and inspire researchers for future work.

研究动机与目标

• 通过结构化的分类法，系统性地对监督机器学习模型的投毒攻击进行分类与分析。
• 总结并比较文献中代表性投毒攻击技术的方法论及其局限性。
• 识别关键的研究空白，并提出可操作的未来研究方向，以改进投毒攻击的利用与防御。
• 应对现实场景中的新兴挑战，如联邦学习和开放数据平台，这些场景中投毒可被隐蔽地注入。
• 通过提出关于模型鲁棒性、优化效率和检测机制的开放性问题，激发进一步研究。

提出的方法

• 基于攻击者知识（白盒、灰盒、黑盒）、安全违规类型（完整性或可用性）以及攻击特异性（针对性 vs. 非针对性）提出投毒攻击的分类法。
• 分析三种主要攻击技术：后门攻击、数据重排序攻击和基于梯度的投毒，重点分析其设计及其对模型性能的影响。
• 正式定义‘干净样本’为：无需标签控制、未被人工错误标注、且不源自特定目标特征的样本。
• 提出双层优化作为生成有效投毒样本的核心方法，但指出其计算成本较高。
• 讨论渐进式、隐蔽的插入策略（如‘青蛙煮沸’攻击）在真实数据流水线中规避检测的潜力。
• 强调联邦学习和开源数据平台（如维基百科）在通过水印或微小扰动注入数据时对投毒的高度脆弱性。

实验结果

研究问题

• RQ1 在生成投毒样本时，双层优化问题的最终解决方案是什么？能否实现计算上的高效化？
• RQ2 哪些指标能有效评估单个投毒样本的质量与影响？它们与模型可解释性有何关联？
• RQ3 如何使投毒攻击更具隐蔽性以规避自动检测或人工审查？渐进式数据注入机制能否被泛化？
• RQ4 是否存在可被利用为新型攻击向量的机器学习特性，如梯度爆炸、梯度消失或不良初始化？
• RQ5 在联邦学习等隐私保护系统中，如何缓解投毒攻击？这些系统中数据去中心化，模型更新被聚合。

主要发现

• 自2016年以来，监督学习中投毒攻击的研究热度显著增长，出版物数量持续上升，表明学术界和工业界兴趣日益增强。
• 后门攻击能有效操纵特定输入的模型预测结果，同时不降低整体性能，因此极难被检测。
• 数据重排序攻击被视为‘干净’攻击，因其不修改标签或特征，但仍可通过破坏训练数据顺序降低模型泛化能力。
• 双层优化框架在生成高影响力投毒样本方面有效，但计算成本过高，限制了可扩展性。
• 渐进式、增量式数据注入（如‘青蛙煮沸’攻击）可显著降低被检测的可能性，表明时间控制与数据量控制对隐蔽性至关重要。
• 开放数据平台（如维基百科）因公众可编辑性而高度易受投毒攻击，且自动化检测仍是重大未解难题。