[论文解读] Early Anomaly Detection by Learning and Forecasting Behavior.

Tong Zhao, Bo Ni+2 more|arXiv (Cornell University)|Oct 20, 2020

Network Security and Intrusion Detection参考文献 46被引用 4

一句话总结

Eland 是一种新颖的早期图异常检测框架，通过联合学习行为预测与异常检测，并结合行为数据增强，在数据稀缺条件下提升了性能。它采用基于 Seq2Seq 的预测器来预测用户行为，这些预测行为被用于增强行为图，从而在早期阶段数据有限的情况下，提升下游异常检测的准确性。

ABSTRACT

Graph anomaly detection systems aim at identifying suspicious accounts or behaviors on social networking sites and e-commercial platforms. Detecting anomalous users at an early stage is crucial to minimize financial loss. When a great amount of observed behavior data are available, existing methods perform effectively though it may have been too late to avoid the loss. However, their performance would become unsatisfactory when the observed data are quite limited at the early stage. In this work, we propose Eland, a novel framework that uses behavior data augmentation for early anomaly detection. It has a Seq2Seq-based behavior predictor that predicts (i) whether a user will adopt a new item or an item that has been historically adopted and (ii) which item will be adopted. Eland exploits the mutual enhancement between behavior prediction and graph anomaly detection. The behavior graph is augmented with the predicted behaviors such that the graph-based anomaly detection methods can achieve better performance, and the detection results can support the behavior predictor in return. Experiments show that Eland improves the performance of a variety of graph-based anomaly detection methods. With the augmented methods in Eland, the performance of anomaly detection at an earlier stage is comparable with or better than non-augmented methods on a greater amount of observation.

研究动机与目标

• 解决在早期阶段行为数据有限时图异常检测性能不佳的挑战。
• 通过用户行为的预测建模来增强行为图，提升早期检测能力。
• 实现行为预测与异常检测之间的相互增强，提升鲁棒性与准确性。
• 通过更早检测异常用户，减少财务损失，避免造成重大损害。

提出的方法

• 采用基于 Seq2Seq 的行为预测器，预测用户是否会采用新项目或已采用过的项目，以及具体将采用的项目。
• 通过预测行为对原始行为图进行增强，以丰富图结构，提升异常检测效果。
• 在反馈回路中集成行为预测器与基于图的异常检测模型，利用检测结果优化行为预测。
• 利用增强后的图结构提升现有基于图的异常检测方法的性能。
• 利用相互增强机制：改进的行为预测可增强异常检测，而异常检测结果又能进一步优化行为预测。
• 在真实世界的社会平台与电商平台上应用该框架，评估在数据稀缺条件下的早期检测性能。

实验结果

研究问题

• RQ1 在观测数据有限时，行为预测能否提升早期图异常检测性能？
• RQ2 通过预测行为进行数据增强，如何提升基于图的异常检测性能？
• RQ3 行为预测与异常检测之间的相互增强在多大程度上提升了检测准确性？
• RQ4 Eland 是否能在显著减少观测数据量的情况下，实现与非增强方法相当或更优的检测性能？

主要发现

• Eland 通过行为数据增强，提升了多种基于图的异常检测方法的性能。
• 在数据增强后，Eland 在更早阶段即可实现与使用更多观测数据的非增强方法相当或更优的检测性能。
• 行为预测与异常检测的联合学习实现了相互增强，同时提升了两个模块的性能。
• 该框架在训练数据稀缺时依然有效，适用于现实系统中的早期异常检测。