[论文解读] ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level

Mathieu Garchery, Michael Granitzer|arXiv (Cornell University)|Jul 14, 2020

Network Security and Intrusion Detection参考文献 37被引用 6

一句话总结

ADSAGE 提出了一种新颖的序列属性图边异常检测框架，通过将用户活动建模为带有数值、分类和文本属性的边，实现了细粒度的事件级内部威胁检测。它结合循环神经网络（RNN）进行序列建模和前馈神经网络（FFNN）进行异常评分，在认证日志和邮件日志中实现了有效的检测，相比聚合方法提升了告警可追溯性。

ABSTRACT

Previous works on the CERT insider threat detection case have neglected graph and text features despite their relevance to describe user behavior. Additionally, existing systems heavily rely on feature engineering and audit data aggregation to detect malicious activities. This is time consuming, requires expert knowledge and prevents tracing back alerts to precise user actions. To address these issues we introduce ADSAGE to detect anomalies in audit log events modeled as graph edges. Our general method is the first to perform anomaly detection at edge level while supporting both edge sequences and attributes, which can be numeric, categorical or even text. We describe how ADSAGE can be used for fine-grained, event level insider threat detection in different audit logs from the CERT use case. Remarking that there is no standard benchmark for the CERT problem, we use a previously proposed evaluation setting based on realistic recall-based metrics. We evaluate ADSAGE on authentication, email traffic and web browsing logs from the CERT insider threat datasets, as well as on real-world authentication events. ADSAGE is effective to detect anomalies in authentications, modeled as user to computer interactions, and in email communications. Simple baselines give surprisingly strong results as well. We also report performance split by malicious scenarios present in the CERT datasets: interestingly, several detectors are complementary and could be combined to improve detection. Overall, our results show that graph features are informative to characterize malicious insider activities, and that detection at fine-grained level is possible.

研究动机与目标

• 解决现有内部威胁系统中缺乏支持图结构和文本特征的细粒度、事件级异常检测的问题。
• 通过直接在原始审计日志事件（作为属性图边）上操作，减少对人工特征工程和数据聚合的依赖。
• 使用真实、基于召回率的指标，评估图特征和文本特征在检测恶意内部人员行为方面的有效性。
• 在 CERT 内部威胁数据集中为边级别的异常检测提供基准，并按恶意场景划分性能表现。
• 探索不同审计数据源上各类检测方法的互补性，以期实现集成方法的性能提升。

提出的方法

• 将用户审计事件建模为属性图边，其中节点代表实体（如用户、计算机），边代表交互行为（如登录、发送邮件）。
• 支持异构边属性：数值型（如时间戳）、分类型（如操作类型）和文本型（如邮件内容）。
• 使用循环神经网络（RNN）捕捉边的时间序列，建模随时间演变的行为模式。
• 采用前馈神经网络（FFNN）预测边的有效性，并基于重构误差生成异常评分。
• 采用正负样本 1:1 的采样比例进行模型训练，实现边级别异常的端到端学习。
• 在 CERT 和 LANL 数据集上使用基于召回率的指标进行评估，结果按恶意内部威胁场景划分，以评估数据源特异性。

实验结果

研究问题

• RQ1 在不聚合审计数据的前提下，基于属性图边的边级别异常检测能否有效检测内部威胁？
• RQ2 图特征和文本特征在认证、邮件和网页浏览日志中对识别恶意内部人员行为的贡献如何？
• RQ3 在检测不同内部威胁场景时，各类检测方法（如 ADSAGE、SedanSpot）的互补性在多大程度上存在？
• RQ4 合成的 CERT 数据集是否足够真实，能够支持对细粒度异常检测方法的有效性能评估？
• RQ5 细粒度检测是否能在保持与多源聚合系统相当的检测性能的同时，提升告警可追溯性？

主要发现

• ADSAGE 在将认证日志建模为用户到计算机交互边的情况下，能有效检测异常，在合成数据集（CERT）和真实世界数据集（LANL）中均表现出一致的性能。
• 邮件流量被建模为发送者到接收者的边，且邮件内容作为属性时，ADSAGE 同样能有效检测，证明了文本特征和图特征的价值。
• 对于网页浏览日志（建模为用户到域名的边），ADSAGE 效果较弱，表明替代方法如 SedanSpot 或基于规则的检测器可能更为合适。
• 简单的基线方法（如 SedanSpot）表现出出人意料的强性能，表明即使是轻量级模型在某些数据源上也具有有效性。
• 按恶意场景划分的性能结果表明，不同检测器覆盖了不同的威胁模式，显示出集成方法在提升检测覆盖率方面的巨大潜力。
• 本研究证实，图特征和文本特征对内部威胁检测具有信息价值，且无需数据聚合，细粒度的事件级检测在技术上可行且具备可追溯性。