[论文解读] Attacking Machine Learning models as part of a cyber kill chain

Tam N. Nguyen|arXiv (Cornell University)|May 1, 2017

Network Security and Intrusion Detection被引用 8

一句话总结

本文提出了机器学习网络杀伤链（ML-CKC），这是一种新颖的威胁模型，将针对机器学习模型的对抗性攻击映射到结构化的、分阶段的攻击生命周期中——受传统网络杀伤链的启发，但专为机器学习特定威胁而定制。该文提出了四项关键建议：在设计阶段进行威胁建模、模型可审计性、安全软件开发生命周期实践，以及操作成本建模，旨在提升基于机器学习的安全系统在真实世界中的鲁棒性，而不仅依赖于准确率指标。

ABSTRACT

Machine learning is gaining popularity in the network security domain as many more network-enabled devices get connected, as malicious activities become stealthier, and as new technologies like Software Defined Networking emerge. Compromising machine learning model is a desirable goal. In fact, spammers have been quite successful getting through machine learning enabled spam filters for years. While previous works have been done on adversarial machine learning, none has been considered within a defense-in-depth environment, in which correct classification alone may not be good enough. For the first time, this paper proposes a cyber kill-chain for attacking machine learning models together with a proof of concept. The intention is to provide a high level attack model that inspire more secure processes in research/design/implementation of machine learning based security solutions.

研究动机与目标

• 为弥合学术机器学习研究与网络安全部署之间的差距，提出一种专为基于机器学习的安全解决方案量身定制的威胁模型。
• 强调仅高准确率不足以支撑真实世界中的机器学习安全系统，这些系统必须能够抵御对抗性操纵和实际运行中的挑战。
• 为提升基于机器学习的网络防御系统在安全性、可审计性和可维护性方面提供可操作的建议。
• 在纵深防御背景下形式化机器学习特异性威胁，强调攻击者可在机器学习生命周期的每个阶段利用模型漏洞。

提出的方法

• 提出一个高层次的威胁模型——机器学习网络杀伤链，分为六个阶段：侦察、武器化、投递、利用、安装和命令与控制，专为机器学习模型攻击而适配。
• 采用俄罗斯套娃式方法，从安全运营中心（S.O.C.）的更广泛背景出发，逐步聚焦到机器学习特异性威胁。
• 整合真实世界的基于软件定义网络（SDN）的机器学习安全解决方案（例如，表 I 中的示例），以将威胁模型扎根于实际部署场景，并用于基准性能评估。
• 建议在设计中内置可审计性，包括对模型漂移、误报/漏报率以及攻击检测信号的日志记录。
• 倡导采用安全软件开发生命周期（SDLC）实践，包括静态分析、代码审查，以及在可行时进行形式化验证。
• 建议构建操作成本模型，以评估模型复杂度、性能与对抗性输入鲁棒性之间的权衡。

实验结果

研究问题

• RQ1 如何在网络安全杀伤链框架内系统性地建模针对机器学习模型的对抗性攻击？
• RQ2 在模型部署的不同阶段，攻击者可利用的基于机器学习的安全系统中的关键漏洞有哪些？
• RQ3 机器学习模型设计者如何在真实世界、实际运行环境中，超越准确率来提升鲁棒性？
• RQ4 模型可审计性在检测和响应对抗性操纵中发挥什么作用？
• RQ5 操作成本建模如何有助于评估基于机器学习的网络防御系统在长期部署中的可行性与安全性？

主要发现

• 机器学习网络杀伤链为理解并防御机器学习模型在网络安全场景下的对抗性攻击，提供了一个结构化且可操作的框架。
• 即使准确率很高（例如，多个基于 SDN 的解决方案中达到 98%），若未在设计时考虑威胁建模与加固，模型仍可能易受对抗性操纵。
• 通过记录变更、检测模型漂移及异常指标等方式实现的模型可审计性，可显著增强模型部署后的安全性和事件响应能力。
• 安全软件开发生命周期实践，包括静态分析和形式化验证，对于减少攻击面并防止机器学习系统中的侧信道泄露至关重要。
• 操作成本建模对于评估权衡至关重要，尤其是在量化安全应用中漏报的真实世界成本方面。
• 所提出的框架可推动从仅关注准确率的评估，转向对鲁棒性、可维护性和安全性等多维度的综合评估，这对生产环境部署至关重要。