[论文解读] Adversarial Machine Learning -- Industry Perspectives

Ram Shankar Siva Kumar, Magnus Nyström+6 more|arXiv (Cornell University)|Feb 4, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 50

一句话总结

本论文报道了一项 28-organization 行业调查，显示在保护 ML 系统免受对抗性攻击方面存在普遍差距，并提出与 SDL 对齐的面向工业 ML 安全的研究方向。

ABSTRACT

Based on interviews with 28 organizations, we found that industry practitioners are not equipped with tactical and strategic tools to protect, detect and respond to attacks on their Machine Learning (ML) systems. We leverage the insights from the interviews and we enumerate the gaps in perspective in securing machine learning systems when viewed in the context of traditional software security development. We write this paper from the perspective of two personas: developers/ML engineers and security incident responders who are tasked with securing ML systems as they are designed, developed and deployed ML systems. The goal of this paper is to engage researchers to revise and amend the Security Development Lifecycle for industrial-grade software in the adversarial ML era.

研究动机与目标

• 评估各行业中组织如何保护 ML 系统免受对抗性攻击。
• 识别生产环境中工具、流程和人员在 ML 安全方面的差距。
• 将传统软件 SDL 与对抗性 ML 的安全需求衔接。
• 提出修订工业级 ML 的 Security Development Lifecycle 的研究议程。
• 为 ML 开发者和安全事件响应人员提供可执行的洞察。

提出的方法

• 对来自 28 家组织的两个角色设定访谈（开发人员/ML 工程师与安全事件响应人员）。
• 将发现映射到 SDL 阶段（设计/开发、部署、遭遇攻击阶段）。
• 使用针对 ML 的结构化 SDL 框架枚举安全差距。
• 提出未来的研究方向以及与行业实践对齐的实用工具。

实验结果

研究问题

• RQ1 在行业中，保护 ML 系统免受对抗性攻击的现状如何？
• RQ2 在各组织中，工具、实践和知识方面的 ML 安全存在的主要差距是什么？
• RQ3 如何修订 Security Development Lifecycle 以覆盖行业规模软件中的对抗性 ML？
• RQ4 哪些研究方向可以促进对 ML 系统的更好设计、部署、监控和事件响应？

主要发现

• 28 家组织中有 25 家缺乏用于保护 ML 系统的正确工具，并寻求指导。
• 只有 6 家组织在对抗性 ML 方面有专门的人力配备，这些多为大型组织或政府机构。
• 大多数安全工程师当前无法检测或响应 ML 攻击。
• 投毒被列为他们组织最关注的攻击（10 票）。
• Model Stealing（6 票）和 Model Inversion（4 票）也是值得关注的担忧。
• 安保分析师和开发人员之间对平台中 ML 安全的期望与现实存在错配。