[论文解读] A Survey on Resilient Machine Learning

Atul Kumar, Sameep Mehta|arXiv (Cornell University)|Jul 11, 2017

Adversarial Robustness in Machine Learning参考文献 31被引用 14

一句话总结

本综述对机器学习系统中的对抗性漏洞提供了全面分析，涵盖数据收集、训练和部署各阶段的攻击。它提出了一套系统的威胁与防御分类法，强调通过鲁棒模型设计和威胁感知训练提升系统韧性，主要贡献在于统一攻击面并指导未来安全机器学习的发展。

ABSTRACT

Machine learning based system are increasingly being used for sensitive tasks such as security surveillance, guiding autonomous vehicle, taking investment decisions, detecting and blocking network intrusion and malware etc. However, recent research has shown that machine learning models are venerable to attacks by adversaries at all phases of machine learning (eg, training data collection, training, operation). All model classes of machine learning systems can be misled by providing carefully crafted inputs making them wrongly classify inputs. Maliciously created input samples can affect the learning process of a ML system by either slowing down the learning process, or affecting the performance of the learned mode, or causing the system make error(s) only in attacker's planned scenario. Because of these developments, understanding security of machine learning algorithms and systems is emerging as an important research area among computer security and machine learning researchers and practitioners. We present a survey of this emerging area in machine learning.

研究动机与目标

• 识别并分类机器学习生命周期各阶段针对机器学习系统的对抗性威胁。
• 分析模型训练、推理和数据收集中的漏洞，这些漏洞可能导致恶意操纵。
• 综合现有防御策略，并指出弹性机器学习研究中的研究空白。
• 提供一个统一框架，以理解和减轻现实世界机器学习部署中的对抗性风险。

提出的方法

• 系统性回顾监督学习、无监督学习和强化学习中对抗性样本、数据 poisoning 和模型逃避攻击。
• 根据威胁模型、攻击面和对抗性目标（例如，错误分类、模型反演）对攻击进行分类。
• 将防御机制分类为输入预处理、鲁棒训练和基于认证的方法。
• 分析防御策略中模型准确率、鲁棒性与计算开销之间的权衡。
• 调查机器学习安全至关重要的实际应用场景，如自动驾驶汽车和入侵检测系统。
• 综合分析构建弹性机器学习系统过程中的开放挑战与未来研究方向。

实验结果

研究问题

• RQ1 在数据收集、训练和推理阶段，针对机器学习系统的主​​要攻击向量是什么？
• RQ2 对抗性样本如何在不改变底层数据分布的情况下操纵模型行为？
• RQ3 哪些防御机制对逃避攻击、数据 poisoning 和模型提取攻击有效？
• RQ4 鲁棒性与准确率之间的权衡如何影响弹性机器学习模型的部署？
• RQ5 在实现机器学习系统端到端弹性方面，关键的开放挑战是什么？

主要发现

• 对抗性攻击可成功误导各类机器学习范式中的模型，包括深度神经网络和传统分类器。
• 即使是对输入施加微小且难以察觉的扰动，也能导致最先进模型出现高置信度的错误分类。
• 对抗性训练和输入预处理等防御措施可提升鲁棒性，但通常以清洁数据上的准确率下降为代价。
• 数据 poisoning 攻击可降低模型性能，或在特定触发条件下激活后门。
• 模型反演和成员推断攻击可暴露敏感的训练数据，凸显了隐私风险，而不仅限于准确率问题。
• 统一的威胁模型和防御分类法对于指导未来安全机器学习的研究与部署至关重要。