[论文解读] Machine Learning Security against Data Poisoning: Are We There Yet?

Antonio Emanuele Ciná, Kathrin Grosse+4 more|arXiv (Cornell University)|Apr 12, 2022

Adversarial Robustness in Machine Learning参考文献 19被引用 13

一句话总结

本文对机器学习中的数据投毒攻击进行了全面综述，分析了其作用机制、影响以及现有防御措施。文章指出了在可扩展性、现实威胁建模以及防御措施评估方面存在的关键挑战，结论是当前方法尚不足以确保机器学习系统在投毒威胁下的可信性。

ABSTRACT

The recent success of machine learning (ML) has been fueled by the increasing availability of computing power and large amounts of data in many different applications. However, the trustworthiness of the resulting models can be compromised when such data is maliciously manipulated to mislead the learning process. In this article, we first review poisoning attacks that compromise the training data used to learn ML models, including attacks that aim to reduce the overall performance, manipulate the predictions on specific test samples, and even implant backdoors in the model. We then discuss how to mitigate these attacks using basic security principles, or by deploying ML-oriented defensive mechanisms. We conclude our article by formulating some relevant open challenges which are hindering the development of testing methods and benchmarks suitable for assessing and improving the trustworthiness of ML models against data poisoning attacks

研究动机与目标

• 分析当前数据投毒攻击的现状及其对机器学习模型可信性的影响。
• 评估现有防御机制在对抗投毒攻击方面的有效性，包括数据清洗和模型层面加固。
• 识别在现实威胁建模、可扩展性以及防御措施稳健性评估方面的关键开放挑战。
• 突出理论防御与工业级机器学习系统实际部署之间的差距。
• 倡导开发改进的基准测试和自适应评估协议，以在现实约束条件下评估防御措施的稳健性。

提出的方法

• 根据攻击目标对投毒攻击场景进行分类：性能下降、目标误分类和后门植入。
• 基于安全与机器学习原则，回顾基于数据层面清洗和模型层面加固的防御策略。
• 探讨隐私增强技术在缓解投毒风险中的作用，尽管其相互作用仍研究不足。
• 提出利用元学习和超参数优化，以降低高级投毒攻击的计算成本。
• 强调在评估中引入自适应攻击的必要性，以测试防御措施在知情对手下的稳健性。
• 呼吁建立标准化的基准测试和评估协议，以反映现实世界中的数据访问和模型部署约束。

实验结果

研究问题

• RQ1 现代机器学习系统中，数据投毒攻击的主要类型和威胁模型是什么？
• RQ2 在现实和自适应攻击场景下，现有防御机制在缓解投毒攻击方面的有效性如何？
• RQ3 为何投毒攻击的可扩展性是实际部署中的主要障碍，尤其是对深度学习模型而言？
• RQ4 在评估机器学习防御措施对数据投毒的稳健性方面，存在哪些关键局限性？
• RQ5 如何更好地整合并理解隐私保护机制与数据投毒防御之间的关系？

主要发现

• 对于使用机器学习的公司而言，数据投毒被认为是其最担忧的威胁，凸显了其在现实世界中的相关性。
• 许多现有投毒攻击依赖于不切实际的假设，例如对训练集的完全控制，限制了其实际可行性。
• 既高效又隐蔽的高级投毒攻击需要求解昂贵的优化问题，从而限制了其可扩展性。
• 评估中严重缺乏自适应攻击，这削弱了对当前防御措施稳健性的信心。
• 现有防御措施未系统性地针对自适应对手进行评估，导致对其在现实世界中有效性的理解不完整。
• 数据投毒与其他机器学习安全威胁（如隐私攻击）之间的相互作用仍理解不足且研究较少。