[論文レビュー] Analyzing the Social Structure and Dynamics of E-mail and Spam in Massive Backbone Internet Traffic

Farnaz Moradi, Tomas Olovsson+1 more|arXiv (Cornell University)|Aug 19, 2010

Complex Network Analysis Techniques参考文献 16被引用数 3

ひとこと要約

本研究では、10 Gbpsのバックボーンリンクから得た大規模なSMTPトラフィックを分析し、電子メールのソーシャルネットワークを構築し、正当な（ham）およびスパム電子メールトラフィックの構造的・時間的ダイナミクスを比較する。先行研究の仮定とは対照的に、著者らはスパムの破壊的影響により、電子メールネットワークはスケールフリ－ではないことを発見した。スパムは非社会的で、非パワー則的度数分布を示すため、早期のスパム検出に新たなネットワークレベルの特徴が得られる。

ABSTRACT

E-mail is probably the most popular application on the Internet, with everyday business and personal communications dependent on it. Spam or unsolicited e-mail has been estimated to cost businesses significant amounts of money. However, our understanding of the network-level behavior of legitimate e-mail traffic and how it differs from spam traffic is limited. In this study, we have passively captured SMTP packets from a 10 Gbit/s Internet backbone link to construct a social network of e-mail users based on their exchanged e-mails. The focus of this paper is on the graph metrics indicating various structural properties of e-mail networks and how they evolve over time. This study also looks into the differences in the structural and temporal characteristics of spam and non-spam networks. Our analysis on the collected data allows us to show several differences between the behavior of spam and legitimate e-mail traffic, which can help us to understand the behavior of spammers and give us the knowledge to statistically model spam traffic on the network-level in order to complement current spam detection techniques.

研究の動機と目的

• . 実際のバックボーントラフィックから得た大規模な電子メールネットワークの構造的・時間的特性を分析すること。
• . これまでの小規模な研究に基づいて仮定されてきたように、電子メールネットワークがスケールフリ－特性を示すかどうかを調査すること。
• . 正当な（ham）とスパム電子メールトラフィックの間で区別可能なネットワークレベルの特徴を同定すること。
• . 時間窓の選択がネットワークトポロジーおよびスパム検出可能性に与える影響を評価すること。
• . 既存のフィルタリング技術を補完することで、スパム検出を改善するためのネットワークレベルの指標を提供すること。

提案手法

• . シュルメン大学の10 Gbpsインターネットバックボーンリンクで、受動的にSMTPパケットをキャプチャした。
• . 電子メールアドレスをノードとし、送信をエッジとする、無向および有向の電子メールネットワークを構築した。
• . SpamAssassin（well-trained spam filtering tool）を用いて電子メールをハムとスパムに分類した。
• . 3つのネットワークを生成した：(1) 正当な電子メール（ham）、(2) 配信されたスパム、(3) 配信済みおよび拒否されたスパムの組み合わせ。
• . 度数分布、平均パス長、クラスタリング係数、強連結成分（SCCs）などのグラフ指標を分析した。
• . 時間窓（例：12時間、1日、1週間）を変えてネットワークの時間的進化を評価し、スパムパターンの安定性と検出可能性を検証した。

実験結果

リサーチクエスチョン

• RQ1 . 限定的なデータセットに基づいた研究で以前に主張されたように、電子メールネットワークはスケールフリ－であるか？
• RQ2 . ハムとスパムネットワークの構造的特性（例：度数分布、クラスタリング、パス長）にはどのような差があるか？
• RQ3 . 時間窓の選択が、ネットワークトポロジーにおけるスパム行動の検出可能性に与える影響は何か？
• RQ4 . ハムとスパムネットワークにおける強連結成分（SCCs）のサイズと分布は、どのように異なるか？
• RQ5 . スパムトラフィックのネットワークレベルの特徴を活用することで、スパム送信者を送信元に近い段階で検出可能となり、現在のスパムフィルタリングを改善できるか？

主な発見

• . 電子メールネットワークはスケールフリ－ではない。全電子メールネットワークの度数分布は、スパムの過剰な存在によりパワー則から逸脱している。
• . 正当な（ham）電子メールトラフィックはパワー則的度数分布を示し、スケールフリ－の特性を示しており、社会的ネットワークの特徴を確認した。
• . スパムトラフィックは、自動的で非社会的な大量送信行動のため、特に出次数においてパワー則的度数分布を示さない。
• . ハムおよびスパムネットワークの両方に巨大強連結成分（GSCC）が存在するが、SCCサイズ分布は異なる：ハムではパワー則的、スパムおよび拒否トラフィックでは非パワー則的。
• . 作業時間帯の12時間の時間窓で、スパムの非パワー則的行動が検出可能であり、これによりより高速かつ効率的なネットワークレベルでのスパム検出が可能になる。
• . 時間的進化の分析から、ハムネットワークは時間経過とともにより結合性が高くなる一方、スパムネットワークのGSCCサイズには最小限の変化が見られ、安定的で変化のないスパム伝搬パターンであることが示された。