[论文解读] Behavior Query Discovery in System-Generated Temporal Graphs

Bo Zong, Xusheng Xiao+6 more|arXiv (Cornell University)|Nov 18, 2015

Graph Theory and Algorithms参考文献 30被引用 5

一句话总结

该论文提出TGMiner，一种从系统生成日志中自动发现区分性时间图模式的系统，以实现行为查询的自动化构建。通过利用时间顺序和增长趋势分析，TGMiner能够提前剪枝无前景的搜索分支，在保持高精度（97%）和高召回率（91%）的前提下，相比基线方法实现6–32倍的性能提升。

ABSTRACT

Computer system monitoring generates huge amounts of logs that record the interaction of system entities. How to query such data to better understand system behaviors and identify potential system risks and malicious behaviors becomes a challenging task for system administrators due to the dynamics and heterogeneity of the data. System monitoring data are essentially heterogeneous temporal graphs with nodes being system entities and edges being their interactions over time. Given the complexity of such graphs, it becomes time-consuming for system administrators to manually formulate useful queries in order to examine abnormal activities, attacks, and vulnerabilities in computer systems. In this work, we investigate how to query temporal graphs and treat query formulation as a discriminative temporal graph pattern mining problem. We introduce TGMiner to mine discriminative patterns from system logs, and these patterns can be taken as templates for building more complex queries. TGMiner leverages temporal information in graphs to prune graph patterns that share similar growth trend without compromising pattern quality. Experimental results on real system data show that TGMiner is 6-32 times faster than baseline methods. The discovered patterns were verified by system experts; they achieved high precision (97%) and recall (91%).

研究动机与目标

• 为解决由于语义和结构复杂性，手动从低层级系统日志中构建高层行为查询的挑战。
• 减少系统管理员在检测动态、异构系统日志中的异常、攻击和漏洞时所需的时间和专业知识。
• 弥合高层系统行为与时间图中记录的低层级系统实体交互之间的语义鸿沟。
• 开发一种高效、可扩展的方法，用于挖掘可重用的区分性时间图模式作为查询模板。

提出的方法

• TGMiner 将行为查询发现问题形式化为区分性时间图模式挖掘问题。
• 通过时间顺序和增长趋势相似性引导模式探索，并提前剪枝无前景的分支。
• 通过将时间戳作为模式结构的一部分处理，引入时间约束，避免多边信息的丢失。
• 采用带时间感知同构性检查的规范标记方法，确保模式唯一性并避免冗余。
• 采用自底向上的模式增长策略，并结合基于时间相似性和区分能力的剪枝机制。
• 算法集成了一种评分函数，用于评估模式在区分正常与异常行为方面的能力。

实验结果

研究问题

• RQ1 如何高效地从系统日志中挖掘区分性时间图模式，以作为行为查询的模板？
• RQ2 时间顺序在减少搜索空间的同时，如何保持模式质量？
• RQ3 在挖掘过程中，如何在不将多边模式合并为单一边的情况下保留多边模式？
• RQ4 在搜索过程早期，时间相似性在剪枝非区分性候选模式方面能发挥多大作用？
• RQ5 经系统专家验证，所挖掘的模式在捕捉真实世界系统行为方面有多高效？

主要发现

• TGMiner 在真实系统日志数据集上相比基线方法实现了6–32倍的性能提升。
• 经系统专家验证，所挖掘的模式表现出高精度（97%）和高召回率（91%）。
• 通过时间增长趋势分析，实现了对无前景搜索分支的有效剪枝，且未牺牲模式质量。
• 该方法通过避免将边合并为单一标签，成功保留了多边模式。
• 所发现的模式具有语义意义，可直接作为网络安全和数据中心监控中复杂行为查询的模板。
• 与非时间模式挖掘方法相比，该方法通过保持时间语义并避免非时间模式过度生成导致的冗余，表现更优。