[论文解读] Machine Learning Security in Industry: A Quantitative Survey

Kathrin Grosse, Lukas Bieringer+3 more|arXiv (Cornell University)|Jul 11, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

一项针对139名工业机器学习从业者的大规模定量调查揭示了现实世界中对抗性机器学习攻击的存在，尤其是逃避攻击和投毒攻击，尽管这些从业者对相关威胁的接触有限。研究发现，威胁感知主要受机器学习安全领域先验知识的影响，而组织的缓解措施则与感知风险和人工智能成熟度相关，而非组织规模或应用领域。

ABSTRACT

Despite the large body of academic work on machine learning security, little is known about the occurrence of attacks on machine learning systems in the wild. In this paper, we report on a quantitative study with 139 industrial practitioners. We analyze attack occurrence and concern and evaluate statistical hypotheses on factors influencing threat perception and exposure. Our results shed light on real-world attacks on deployed machine learning. On the organizational level, while we find no predictors for threat exposure in our sample, the amount of implement defenses depends on exposure to threats or expected likelihood to become a target. We also provide a detailed analysis of practitioners' replies on the relevance of individual machine learning attacks, unveiling complex concerns like unreliable decision making, business information leakage, and bias introduction into models. Finally, we find that on the individual level, prior knowledge about machine learning security influences threat perception. Our work paves the way for more research about adversarial machine learning in practice, but yields also insights for regulation and auditing.

研究动机与目标

• 调查工业环境中对抗性机器学习（AML）攻击的真实发生情况及其感知情况。
• 识别影响威胁暴露、缓解措施和对特定AML攻击关注程度的组织与个人因素。
• 分析从业者认为某些AML攻击具有相关性或无关性的原因，包括伦理、财务和部署特定因素。
• 研究先验知识和性别在塑造AML威胁感知中的作用。
• 通过厘清机器学习系统中安全与安全的边界，为监管、审计和未来研究提供依据。

提出的方法

• 对来自不同行业的139名工业机器学习从业者开展了大规模、匿名的定量调查。
• 聚焦于先前工业排名中识别出的六类关键AML威胁：逃避攻击、投毒攻击、模型窃取、数据泄露、成员推断和模型反演。
• 收集了关于威胁暴露、缓解措施、攻击相关性感知、先验知识以及包括性别在内的性别等人口统计因素的数据。
• 应用假设检验分析组织规模、机器学习部署时长、数据类型和人工智能成熟度等变量之间的关系。
• 利用开放式回答分析攻击相关性或无关性的定性原因，识别出如财务损失、伦理担忧和部署可行性等主题。
• 通过控制应用领域、数据敏感性和组织结构等混杂变量，隔离威胁感知和防御实施的关键预测因子。

实验结果

研究问题

• RQ1 工业界中对抗性机器学习攻击的真实发生率如何？哪些攻击类型最为常见？
• RQ2 哪些组织因素（如规模、领域、机器学习部署时长）可预测AML威胁的暴露或防御措施的实施？
• RQ3 个体因素（如AML先验知识和性别）如何影响从业者对威胁相关性的感知？
• RQ4 从业者认为某些AML攻击具有相关性或无关性的主要原因是什么？应用特定约束如何影响这种感知？
• RQ5 在工业机器学习系统中，安全与安全担忧在多大程度上存在混淆？这如何影响风险评估？

主要发现

• 逃避攻击和投毒攻击被报告为实际发生，已有2至3年的实际部署经验，这与将AML视为‘未来技术’的感知相矛盾。
• 在组织因素（如规模、行业领域或机器学习在生产中使用时长）方面，未发现威胁暴露的显著预测因子。
• 已实施缓解措施的数量显著由威胁暴露、攻击可能性预期和人工智能成熟度预测，而非组织规模或领域。
• 从业者对AML攻击的担忧强烈受其在对抗性机器学习领域先验知识的影响，知识水平越高，对威胁的担忧也越强烈。
• 在五类AML攻击中，有两类被女性从业者显著评为不那么重要，表明威胁感知存在性别差异，可能与应用领域有关。
• 观察到安全与安全存在显著混淆：从业者常常无法区分因程序错误导致的系统故障（安全）与因对抗性操纵导致的故障（安全），从而复杂化了风险评估。