[论文解读] Machine Learning in Cyber-Security - Problems, Challenges and Data Sets

Idan Amit, John Matherly+4 more|arXiv (Cornell University)|Dec 19, 2018

Network Security and Intrusion Detection参考文献 31被引用 37

一句话总结

本文引入了新型网络空间安全问题——恶意软件分类、主机相似性、横向移动以及隐蔽端口扫描，同时提出了创新的机器学习挑战及公开发布的数据集。提出了一种基于枢纽（pivoting）的标注方法，利用攻击者域名生成高质量、与内容无关的标签，从而支持安全应用中机器学习模型的稳健训练与评估。

ABSTRACT

We present cyber-security problems of high importance. We show that in order to solve these cyber-security problems, one must cope with certain machine learning challenges. We provide novel data sets representing the problems in order to enable the academic community to investigate the problems and suggest methods to cope with the challenges. We also present a method to generate labels via pivoting, providing a solution to common problems of lack of labels in cyber-security.

研究动机与目标

• 通过引入一种新型标注方法，解决网络安全机器学习中标签不足且噪声较多的关键挑战。
• 提出四个高影响力的安全问题：恶意软件分类、主机相似性、横向移动检测以及隐蔽端口扫描。
• 为每个问题提供新的、公开可用的数据集，以支持可复现的研究与模型开发。
• 通过操作者域枢纽实现内容无关的标注，减少对人工专家标注和基于签名方法的依赖。
• 通过发布来自多样化网络环境和不同时期的数据，促进领域自适应与概念漂移相关研究。

提出的方法

• 使用操作者域枢纽：若两个恶意软件样本与相同的一组恶意域名通信，则将其标注为属于同一操作者。
• 定义函数 $OperatorDomains(m)$ 以提取与恶意软件 $m$ 相关的唯一域名，排除良性或常用域名。
• 若两台主机解析到相同的IP地址（该IP地址托管了恶意软件样本所使用的域名），则将其标注为相似，使用 $resolve(ip)$ 和 $signature(ip)$ 函数。
• 从共享操作者域名的恶意软件中构建正样本对，并将其映射至主机签名，从而生成带标签的主机相似性样本对。
• 通过非匹配主机签名的笛卡尔积生成负样本，以平衡数据集。
• 应用噪声过滤与时间约束，识别网络流量中潜在的绑定外壳攻击对，利用连接对特征（如时间、端口使用情况与数据量）进行判断。

实验结果

研究问题

• RQ1 如何在不依赖人工分析或基于签名方法的前提下，生成可靠、可扩展且与内容无关的恶意软件与网络主机标签？
• RQ2 在未直接观察到恶意软件通信的情况下，基于服务签名的主机相似性在多大程度上可帮助识别恶意基础设施？
• RQ3 在大规模网络流量中，哪些特征最能区分横向移动路径与正常网络行为？
• RQ4 在多大程度上，基于操作者域名的枢纽方法能提升恶意软件分类模型的泛化能力与鲁棒性？
• RQ5 隐蔽端口扫描与绑定外壳攻击的关键特征是什么？这些特征能否在会话数据中被有效捕捉以实现检测？

主要发现

• 所提出的操作者域名枢纽方法可实现大规模、与内容无关的恶意软件与主机标签生成，显著降低对专家标注的依赖。
• 绑定外壳数据集包含超过 1,000 个带标签的连接对，其特征包括端口使用、时间间隔与数据量，支持前向外壳模式的检测。
• 网络流量数据集采集自多个站点与不同时期，为真实世界部署引入了领域自适应与概念漂移的挑战。
• 通过共享恶意域名派生的服务签名，可有效建模主机相似性，从而实现对相关恶意主机的检测。
• 数据集支持多分类任务，通过将样本对分配至特定操作者域名，实现超越二元标签的细粒度分析。
• 标注流水线通过结合网络行为分析与协议层特征工程，生成高质量的正负样本。