[论文解读] Anomaly Detection in Networks with Application to Financial Transaction Networks

Andrew Elliott, Mihai Cucuringu+3 more|arXiv (Cornell University)|Jan 2, 2019

Network Security and Intrusion Detection参考文献 55被引用 17

一句话总结

该论文提出了一种新颖的金融交易网络异常检测方法，通过结合网络比较与谱分析提取140个特征，再利用特征和或随机森林分类器识别未知异常。该方法在合成数据集上优于现有方法（如Oddsball），在排名前2%的节点中可识别超过90%的植入异常。

ABSTRACT

This paper is motivated by the task of detecting anomalies in networks of financial transactions, with accounts as nodes and a directed weighted edge between two nodes denoting a money transfer. The weight of the edge is the transaction amount. Examples of anomalies in networks include long paths of large transaction amounts, rings of large payments, and cliques of accounts. There are many methods available which detect such specific structures in networks. Here we introduce a method which is able to detect previously unspecified anomalies in networks. The method is based on a combination of features from network comparison and spectral analysis as well as local statistics, yielding 140 main features. We then use a simple feature sum method, as well as a random forest method, in order to classify nodes as normal or anomalous. We test the method first on synthetic networks which we generated, and second on a set of synthetic networks which were generated without the methods team having access to the ground truth. The first set of synthetic networks was split in a training set of 70 percent of the networks, and a test set of 30 percent of the networks. The resulting classifier was then applied to the second set of synthetic networks. We compare our method with Oddball, a widely used method for anomaly detection in networks, as well as to random classification. While Oddball outperforms random classification, both our feature sum method and our random forest method outperform Oddball. On the test set, the random forest outperforms feature sum, whereas on the second synthetic data set, initially feature sum tends to pick up more anomalies than random forest, with this behaviour reversing for lower-scoring anomalies. In all cases, the top 2 percent of flagged anomalies contained on average over 90 percent of the planted anomalies.

研究动机与目标

• 检测现有基于规则或特定模式的方法无法捕捉的金融交易网络中先前未指定的异常。
• 开发一种适用于多种网络结构的通用异常检测框架，无需事先了解异常模式。
• 通过整合多种网络特征与机器学习分类，提升相对于SOTA方法（如Oddsball）的检测性能。
• 在已知植入异常的合成网络上评估该方法，以确保其鲁棒性与可靠性。
• 通过分析被标记为异常但不属于任何植入异常结构的节点，研究误报情况。

提出的方法

• 通过结合网络比较度量（如图距离、边级差异）与谱分析（如特征向量局域化、模块度矩阵属性）生成140个特征。
• 使用特征向量的ℓ₁范数z得分检测谱局域化，这是网络结构中异常节点集中化的标志。
• 通过简单求和（特征和）与随机森林分类器对特征进行聚合，以对节点进行排序并分类为正常或异常。
• 在两个合成数据集上验证该方法：一个用于训练（70%），另一个独立测试集（30%），在开发过程中未知其生成机制。
• 该方法包含一种两跳雪球采样程序，用于探索被标记节点的局部网络邻域，支持对非嵌入异常的可视化与统计分析。
• 性能通过标准指标评估：召回率、精确率与平均精确率，误差棒表示在100个测试网络上的标准误。

实验结果

研究问题

• RQ1 结合网络比较与谱分析的混合方法是否能比现有方法更有效地检测金融交易网络中未知的异常模式？
• RQ2 在不同合成网络配置下，特征和方法与随机森林分类器在异常检测性能上的表现如何比较？
• RQ3 该方法在多大程度上能识别真实异常，同时最小化误报，特别是在异常未被显式植入的情况下？
• RQ4 在不同参数条件下，分类器排名靠前的节点与实际植入异常在召回率与精确率方面的表现如何？
• RQ5 被标记为异常但不属于任何植入异常的节点，在其局部网络邻域中表现出何种结构特征？

主要发现

• 在独立测试集的合成网络中，随机森林分类器在精确率与F1得分上优于特征和方法。
• 在第二个合成数据集中，特征和方法最初检测到的异常多于随机森林，但对低分异常的检测趋势反转，表明存在敏感性权衡。
• 在所有测试场景中，排名前2%的节点平均包含超过90%的植入异常，表明检测效率极高。
• 在所有参数条件下，该方法在召回率与精确率上显著优于随机分类与广泛使用的Oddsball方法。
• 被标记为异常但不属于任何植入异常的节点在其两跳邻域中未表现出明显的结构模式，表明该方法可检测到细微且不明显的异常。
• 谱特征的使用，特别是通过ℓ₁范数z得分实现的特征向量局域化，显著提升了对标准网络统计无法检测的异常节点的识别能力。