[论文解读] Detecting Behavioral and Structural Anomalies in MediaCloud Applications

Guido Schwenk, Sebastian Bach|arXiv (Cornell University)|Sep 29, 2014

Network Security and Intrusion Detection参考文献 20被引用 4

一句话总结

本文提出两种互补的机器学习方法，用于检测阿尔卡特朗讯 Media Cloud（一种实时媒体流 PaaS/SaaS 平台）中的行为异常和结构异常。通过使用通信行为特征和应用图结构，结合 One-Class SVM 与 SVDD 分类器，该方法在真实数据和合成数据上均实现了高达 100% 的真正例率，且误报率极低，具备精确的异常定位能力。

ABSTRACT

In the past years technological advances such as the increasing bandwidth in network infrastructures and new software developments such as message and agent-based systems gave rise to the field of cloud technologies, which have evolved from abstract concepts to concrete solutions, ranging from flexible, platform-independent systems to highly specialized software solutions. In this paper we introduce and evaluate two anomaly detection methods to achieve a higher level of security in a specific cloud solution for interactive media, the Media Cloud from Alcatel-Lucent. The Media Cloud focuses on real-time processing of interactive media applications, allowing for optimal resource planning using highly specific functional components. The proposed anomaly detection methods are designed to work complimentary to each other and are capable of detecting known and unknown vulnerabilities and security issues, offering very low false positive rates and very high detection rates, as is shown by the evaluation on real Media Cloud data and synthetic data. The proposed methods use behavioral and structural features, and are capable of locating the detected anomalies as well, giving the executing analyst easy insight into the running processes.

研究动机与目标

• 为解决针对阿尔卡特朗讯 Media Cloud 等专用云平台缺乏定制化异常检测方法的问题，此类平台结合了 PaaS 与 SaaS 特性，用于实时媒体流处理。
• 开发能够识别动态实时媒体应用中已知与未知漏洞的检测方法，且误报率最低。
• 实现对应用组件和通信图中异常的精确定位，以提供可操作的安全洞察。
• 在真实世界与合成数据上评估方法，以验证其在动态正常条件下的鲁棒性。

提出的方法

• 行为异常检测方法通过分析组件间通信模式，利用消息流与交互序列提取的特征进行检测。
• 结构异常检测方法将应用建模为有向图，并从节点邻域中提取子结构特征以表征应用拓扑。
• 两种方法均采用 One-Class SVM 分类器，从无标签数据中学习正常行为，从而在无需标注异常样本的情况下检测偏离行为。
• 在结构方法中应用支持向量数据描述（SVDD）分类器，并采用直方图交集核，实现在真实数据上的完美检测。
• 通过基于偏离正常模式的程度，为单个节点和边分配威胁评分，实现异常定位。
• 该框架采用一阶邻域子结构，在检测准确率与定位分辨率之间实现平衡，避免因过度覆盖导致的精度损失。

实验结果

研究问题

• RQ1 基于机器学习的异常检测能否有效识别实时媒体云平台中的行为与结构异常？
• RQ2 所提方法在动态真实世界数据上检测未知漏洞时，是否能保持极低的误报率？
• RQ3 这些方法能否准确地将异常定位到应用图中的特定组件或子结构？
• RQ4 在在线学习过程中，模型对潜在的对抗性规避尝试的鲁棒性如何？
• RQ5 核函数选择与特征粒度对检测与定位性能有何影响？

主要发现

• 所提异常检测方法在真实 Media Cloud 数据上实现了高达 100% 的真正例率，证明了对已知与未知异常的完美检测能力。
• 即使在高度动态的正常数据上进行训练，方法仍保持极低的误报率，确保在生产环境中的高可靠性。
• 在合成数据上，采用直方图交集核的 SVDD 分类器实现了完美的图级检测，AUC 值表明性能无瑕。
• 尽管存在分辨率限制，异常定位仍具有效性，因为威胁评分在真实异常节点与边周围聚集，使管理员能够识别高风险组件。
• 一阶邻域特征大小在检测准确率与定位精度之间提供了最佳权衡，避免了过度覆盖问题。
• 该框架在对抗性规避尝试下表现出鲁棒性，理论与实证证据表明，在在线学习设置下，模型中毒攻击在实践中不可行。