[论文解读] Anomaly detection in online social networks

David Savage, Xiuzhen Zhang+3 more|arXiv (Cornell University)|Aug 1, 2016

Network Security and Intrusion Detection参考文献 58被引用 11

一句话总结

本文综述了用于检测在线社交网络中异常行为的计算技术，根据静态/动态和有标签/无标签类型对这些技术进行分类。论文提出了一种两阶段框架，包括特征选择与分类，强调需要采用可扩展的、基于启发式的特征工程方法，以识别大规模网络中的恶意行为，如欺诈或合谋行为。

ABSTRACT

Anomalies in online social networks can signify irregular, and often illegal behaviour. Anomalies in online social networks can signify irregular, and often illegal behaviour. Detection of such anomalies has been used to identify malicious individuals, including spammers, sexual predators, and online fraudsters. In this paper we survey existing computational techniques for detecting anomalies in online social networks. We characterise anomalies as being either static or dynamic, and as being labelled or unlabelled, and survey methods for detecting these different types of anomalies. We suggest that the detection of anomalies in online social networks is composed of two sub-processes; the selection and calculation of network features, and the classification of observations from this feature space. In addition, this paper provides an overview of the types of problems that anomaly detection can address and identifies key areas of future research.

研究动机与目标

• 提供针对在线社交网络专门定制的异常检测技术的全面综述。
• 根据异常的时间特性（静态 vs. 动态）和标注状态（有标签 vs. 无标签）对异常进行分类，以指导方法选择。
• 识别在定义正常行为以及检测演化或对抗性模式方面面临的关键挑战。
• 强调特征选择与分类在构建社交网络分析（SNA）中有效异常检测系统中的重要性。
• 概述未来研究方向，以提升在线社交网络中异常检测的可扩展性、真实性和鲁棒性。

提出的方法

• 将异常划分为四类：静态/有标签、静态/无标签、动态/有标签和动态/无标签，以指导方法选择。
• 提出两阶段流程：(1) 选择并计算网络特征（例如，度数、聚类系数、社区结构），(2) 使用监督学习或无监督学习对观测结果进行分类。
• 强调将复杂用户行为映射到能反映异常模式的有意义网络特征，这一过程具有非平凡的挑战性。
• 回顾现有异常检测技术，包括统计方法、谱方法、聚类方法、最近邻方法以及信息论方法，并将其适配于网络结构。
• 讨论使用合成网络生成模型——包括现象学模型和基于代理的模型——以生成真实可测试的数据，用于评估异常检测算法。
• 倡导使用基于代理的模型来模拟个体行为，以生成涌现的网络特性，从而在对抗性测试场景中提升真实性。

实验结果

研究问题

• RQ1 如何基于异常的时间特性和标注特性，系统性地对在线社交网络中的异常进行分类？
• RQ2 在社交网络中，哪些网络特征最能有效区分异常行为与正常行为？
• RQ3 如何优化特征选择与分类流程，以实现在大规模社交网络分析中的可扩展性与准确性？
• RQ4 合成网络生成方法在验证和改进异常检测算法中扮演何种角色？
• RQ5 在动态、对抗性的在线社交环境中，提升异常检测鲁棒性与适应性的关键挑战和未来研究方向是什么？

主要发现

• 在线社交网络中的异常检测应被视作一个两阶段过程：首先是特征工程，其次是分类，其中特征选择是一个关键且非平凡的步骤。
• 静态异常基于与预期网络模式的结构性偏差进行检测，而动态异常则需要对时间演化过程和变化点进行建模。
• 有标签的异常检测可受益于监督学习，而无标签检测则依赖聚类或异常检测方法来识别稀有或偏离的模式。
• 合成网络生成——尤其是基于代理的建模——为创建真实、可测试的数据提供了有前景的途径，以评估异常检测方法。
• 现有异常检测技术通常具有问题特异性，针对特定网络类型或行为进行定制，表明亟需更具通用性的框架。
• 将真实感强的合成数据生成与先进的特征工程相结合，对于提升异常检测系统在现实在线社交网络中的评估与部署至关重要。