[論文レビュー] Flow-level Characteristics of Spam and Ham

Dominik Schatzmann, Martin Burkhart+1 more|ArXiv.org|Aug 29, 2008

Spam and Phishing Detection参考文献 9被引用数 6

ひとこと要約

本稿では、スパムと正当な（ハム）メールを分類するためのメールサーバー事前フィルタリング意思決定を、ネットワークフロー・データのみを用いて推定する手法を提案する。これにより、ISPはスケーラブルにローカルサーバーの知見を受動的に集約できる。SMTPフローの特性（バイト数やパケット数など）を分析することで、生のサーバーログにアクセスせずに、拒否されたスパムフローを正確に特定できる。これは、ネットワークレベルでのスパム監視をスケーラブルかつプライバシーを尊重する形で実現する。

ABSTRACT

Despite a large amount of effort devoted in the past years trying to limit unsolicited mail, spam is still a major global concern. Content-analysis techniques and blacklists, the most popular methods used to identify and block spam, are beginning to lose their edge in the battle. We argue here that one not only needs to look into the network-related characteristics of spam traffic, as has been recently suggested, but also to look deeper into the network core, in order to counter the increasing sophistication of spam-ing methods. Yet, at the same time, local knowledge available at a given server can often be irreplaceable in identifying specific spammers. To this end, in this paper we show how the local intelligence of mail servers can be gathered and correlated pas- sively at the ISP-level providing valuable network-wide information. Specifically, we use first a large network flow trace from a medium size, national ISP, to demonstrate that the pre-filtering decisions of individual mail servers can be tracked and combined at the flow level. Then, we argue that such aggregated knowledge not only can allow ISPs to develop and evaluate powerful new methods for fighting spam, but also to monitor remotely what their own servers are doing.

研究の動機と目的

• 高度に洗練された動的ボットネットスパムに対抗するうえで、次第に効果が薄れつつあるコンテンツベースのスパムフィルタリングやブラックリストの限界を解消すること。
• 個々のメールサーバーログを収集する方法には、スケーラビリティとプライバシーの課題があるため、それらを克服すること。
• メールコンテンツを露呈させることなく、ネットワークフロー・データがスパムフィルタリング意思決定に関する重要な情報を明らかにできることを示すこと。
• ISPが、既存のフローデータインfraストラクチャを活用して、スケーラブルかつ受動的にスパム活動、サーバーのパフォーマンス、クライアントのレピュテーションを監視できるようにすること。
• ローカルサーバーの知見とネットワーク全体のフローモニタリングを組み合わせる、画期的なアプローチを提唱すること。

提案手法

• 国立ISPのスケールの大きなネットワークフローデータを用いて、SMTPトラフィックのパターンを分析し、フローレコード内のパケット数およびバイト数に注目する。
• サーバーログからの実際の事前フィルタリング意思決定とフローレベルのメトリクス（例：バイト数、パケット数、パケットあたりのバイト数）を相関させ、スパムとハムを区別するパターンを同定する。
• 特にSMTPハンドシェイクの途中で切断された（短いフローでバイト数が少ない）特徴をもとに、SMTPフローを受容または拒否として分類する。
• 分類の正確性を、公開のブラックリストおよびホワイトリストを用いて検証し、拒否されたフローが既知のスパム送信元と一致することを確認する。
• 集約されたフローデータを活用して、サーバー単位のメトリクス（受容されたフロー数 / 総フロー数の比）を算出し、内部および外部のメール送信元のレピュテーションスコアリングを可能にする。
• ISPが個々のサーバーログにアクセスせずに、フローレベルの行動に基づいてスパムキャンペーンを監視し、誤設定されたサーバーを特定し、クライアントのレートを評価できる受動的でスケーラブルなフレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 サーバーログにアクセスできない状況下でも、ネットワークフロー・データのみで、メールサーバーが接続をスパムとして拒否したかどうかを信頼性高く推定できるか？
• RQ2 バイト数やパケット数といったフローレベルの特性が、メールサーバーの事前フィルタリング意思決定とどの程度相関しているか？
• RQ3 集約されたフローデータを活用することで、ISPはプライバシーを守りつつ、スケーラブルにスパム活動やサーバー行動を監視できるか？
• RQ4 フロー中心のメトリクスは、リアルタイムで分散型スパムキャンペーンや誤設定されたメールサーバー（例：オープンリレーや弱い事前フィルタリングを持つサーバー）を検出できるか？
• RQ5 ローカルサーバーの知見とネットワーク全体のフローモニタリングを統合することの実用的応用とは何か？

主な発見

• SMTPフローのバイト数およびパケット数が少ない（SMTPハンドシェイクの途中で切断された）ものは、コンテンツ検査なしでも、事前フィルタリングされたスパム接続を信頼性高く示す。
• フローレベルの特性を分析することで、サーバーログや公開ブラックリストとの照合を経て、高い正確性でスパムとハムのフローを分類できることを実証した。
• スパムキャンペーンの最中、5分間で最大80,000件の拒否フローの急増が観測され、大規模なスパム活動のネットワークレベルでの兆候が明確に検出された。
• 拒否されたフローのパターンは、受容されたフローと約6時間の日周波オフセットを示しており、これは大部分のスパムがGMT-5（例：アメリカ東部）のタイムゾーンから発信されていることを示唆している。
• フロー比率（受容されたフロー / 総フロー数）を用いた内部サーバー監視により、オープンリレーや弱い事前フィルタリングを持つ誤設定サーバーを特定でき、事前の是正が可能になる。
• 外部のメール送信元は、そのフローフレームワークの行動に基づいてレピュテーションスコアリングが可能となり、個々のサーバーログにアクセスせずに、協働フィルタリングやレピュテーションシステムを構築できる。