[论文解读] Analyzing the Social Structure and Dynamics of E-mail and Spam in Massive Backbone Internet Traffic

Farnaz Moradi, Tomas Olovsson+1 more|arXiv (Cornell University)|Aug 19, 2010

Complex Network Analysis Techniques参考文献 16被引用 3

一句话总结

本研究分析了来自10 Gbps骨干链路的海量SMTP流量，构建电子邮件社交网络，并比较合法邮件（ham）与垃圾邮件流量在结构和时间动态上的差异。与先前假设相反，作者发现由于垃圾邮件的破坏性影响，电子邮件网络并非无标度网络，垃圾邮件表现出非社交、非幂律度分布——为早期垃圾邮件检测提供了新的网络级特征。

ABSTRACT

E-mail is probably the most popular application on the Internet, with everyday business and personal communications dependent on it. Spam or unsolicited e-mail has been estimated to cost businesses significant amounts of money. However, our understanding of the network-level behavior of legitimate e-mail traffic and how it differs from spam traffic is limited. In this study, we have passively captured SMTP packets from a 10 Gbit/s Internet backbone link to construct a social network of e-mail users based on their exchanged e-mails. The focus of this paper is on the graph metrics indicating various structural properties of e-mail networks and how they evolve over time. This study also looks into the differences in the structural and temporal characteristics of spam and non-spam networks. Our analysis on the collected data allows us to show several differences between the behavior of spam and legitimate e-mail traffic, which can help us to understand the behavior of spammers and give us the knowledge to statistically model spam traffic on the network-level in order to complement current spam detection techniques.

研究动机与目标

• 分析从真实骨干链路流量中提取的大规模电子邮件网络的结构和时间特性。
• 研究电子邮件网络是否如以往小规模研究假设的那样具有无标度特性。
• 识别合法（ham）与垃圾邮件流量之间的网络级区分特征。
• 评估时间窗口选择对网络拓扑结构及垃圾邮件检测潜力的影响。
• 提供网络级指标，以补充现有过滤技术，提升垃圾邮件检测能力。

提出的方法

• 在查默斯大学从10 Gbps互联网骨干链路被动捕获SMTP数据包。
• 使用电子邮件地址作为节点、传输行为作为边，构建无向和有向电子邮件网络。
• 利用SpamAssassin（一款训练良好的垃圾邮件过滤工具）对邮件进行ham与spam分类。
• 生成三个网络：(1) 合法邮件（ham），(2) 成功投递的垃圾邮件，(3) 成功投递与被拒的垃圾邮件合并。
• 分析图论指标，包括度分布、平均路径长度、聚类系数以及强连通分量（SCCs）。
• 通过不同时间窗口（如12小时、每日、每周）评估网络随时间的演化，以评估拓扑稳定性及垃圾邮件模式的可检测性。

实验结果

研究问题

• RQ1 电子邮件网络是否如以往基于有限数据集的研究所声称的那样具有无标度特性？
• RQ2 合法邮件与垃圾邮件网络在结构特性（如度分布、聚类系数、路径长度）上存在哪些差异？
• RQ3 时间窗口选择对网络拓扑中垃圾邮件行为可检测性有何影响？
• RQ4 合法邮件与垃圾邮件网络中强连通分量（SCCs）的大小与分布有何不同？
• RQ5 是否可利用垃圾邮件流量的网络级特征，实现更接近源头的垃圾邮件发送者检测，从而改进当前的垃圾邮件过滤机制？

主要发现

• 电子邮件网络并非无标度网络；由于垃圾邮件的压倒性存在，完整电子邮件网络的度分布偏离了幂律分布。
• 合法（ham）电子邮件流量表现出无标度特性，具有幂律度分布，证实了其社交网络特征。
• 垃圾邮件流量不遵循幂律度分布，尤其在出度方面，这是由于其自动化、非社交的批量发送行为所致。
• 在合法邮件与垃圾邮件网络中均存在最大强连通分量（GSCC），但SCC大小分布不同：合法邮件中为幂律分布，而垃圾邮件及被拒流量中则为非幂律分布。
• 在工作时间内的12小时时间窗口内，足以检测到垃圾邮件中非幂律行为，从而实现更快、更高效的网络级垃圾邮件检测。
• 时间演化分析显示，合法邮件网络随时间连接性增强，而垃圾邮件网络的GSCC大小几乎无变化，表明垃圾邮件传播模式稳定且不随时间演化。