[论文解读] Comparative Graph Theoretical Characterization of Networks of Spam and Legitimate Email

Luiz Henrique Nacife Gomes, Rodrigo B. Almeida+3 more|ArXiv.org|Apr 4, 2005

Complex Network Analysis Techniques参考文献 11被引用 34

一句话总结

本文提出一种图论框架，通过将电子邮件流量建模为用户图和域名图，利用聚类系数、通信对称性及熵等结构和动态度量，区分垃圾邮件与合法邮件。研究发现，垃圾邮件网络的聚类度较低、不对称性较高、通信熵较大，因此可通过组合度量实现基于概率的垃圾邮件检测。

ABSTRACT

Email is an increasingly important and ubiquitous means of communication, both facilitating contact between private individuals and enabling rises in the productivity of organizations. However the relentless rise of automatic unauthorized emails, a.k.a. spam is eroding away much of the attractiveness of email communication. Most of the attention dedicated to date to spam detection has focused on the content of the emails or on the addresses or domains associated with spam senders. Although methods based on these - easily changeable - identifiers work reasonably well they miss on the fundamental nature of spam as an opportunistic relationship, very different from the normal mutual relations between senders and recipients of legitimate email. Here we present a comprehensive graph theoretical analysis of email traffic that captures these properties quantitatively. We identify several simple metrics that serve both to distinguish between spam and legitimate email and to provide a statistical basis for models of spam traffic.

研究动机与目标

• 开发电子邮件流量的图论模型，捕捉垃圾邮件与合法邮件在结构和动态上的差异。
• 识别可衡量的图度量，基于网络架构与通信模式区分垃圾邮件与合法邮件。
• 为未来垃圾邮件传播的预测模型提供统计基础。
• 评估多种图度量组合在概率性垃圾邮件检测中的有效性。
• 证明垃圾邮件网络由技术驱动且缺乏社交凝聚力，而合法电子邮件网络则具备此类特征。

提出的方法

• 将电子邮件流量建模为两类图：用户图（个体发件人与收件人）和域名图（按电子邮件域名聚合）。
• 从SMTP服务器日志构建有向、二值或加权图，表示节点之间的电子邮件流动。
• 分析包括节点聚类系数、访问概率、通信对称性及邮件不对称集合大小在内的结构度量。
• 评估熵和堆栈距离等动态度量，以评估时间上的通信模式。
• 在聚合图和孤立图中比较垃圾邮件与非垃圾邮件发件人类别的这些度量分布。
• 使用归一化熵和堆栈距离量化节点交互中的通信可变性与时间持久性。

实验结果

研究问题

• RQ1 在聚类和中心性方面，垃圾邮件与合法电子邮件网络的结构特性有何不同？
• RQ2 动态通信模式（如熵和堆栈距离）在多大程度上可区分垃圾邮件与合法邮件？
• RQ3 通信对称性和不对称集合大小能否有效识别垃圾邮件发件人？
• RQ4 垃圾邮件与合法电子邮件图随时间的增长速率有何差异？
• RQ5 多种图度量的组合能否提供稳健的概率性垃圾邮件检测框架？

主要发现

• 垃圾邮件发件人的平均聚类系数显著低于合法用户，表明其局部网络凝聚力较弱。
• 合法电子邮件节点的访问概率更高，反映出其具有更高的中心性和网络整合度。
• 合法网络中的通信对称性显著更高，表明合法发件人更可能收到回复。
• 邮件不对称集合的大小（代表未被回应的通信）与垃圾邮件可能性呈强相关性。
• 垃圾邮件图在节点和边的数量上均比合法图增长更快，反映出其短暂且机会主义的特性。
• 垃圾邮件节点在其出站通信中表现出显著更高的熵和更长的堆栈距离，表明其通信模式更不可预测且更具随机性。