[論文レビュー] POISED: Spotting Twitter Spam Off the Beaten Paths

Shirin Nilizadeh, François Labrèche+6 more|arXiv (Cornell University)|Aug 29, 2017

Spam and Phishing Detection参考文献 75被引用数 8

ひとこと要約

POISEDは、トピックに基づく配布経路を活用して、コミュニティ間でのメッセージの広がりのパターンを分析することで、Twitter上の悪意あるコンテンツを特定する画期的なスパム検出システムである。130万件のツイートからなるデータセットで91%の精度と93%の再現率を達成し、既存のシステムを上回り、攻撃者による回避を想定した攻撃に対しても耐性を示す。

ABSTRACT

Cybercriminals have found in online social networks a propitious medium to spread spam and malicious content. Existing techniques for detecting spam include predicting the trustworthiness of accounts and analyzing the content of these messages. However, advanced attackers can still successfully evade these defenses. Online social networks bring people who have personal connections or share common interests to form communities. In this paper, we first show that users within a networked community share some topics of interest. Moreover, content shared on these social network tend to propagate according to the interests of people. Dissemination paths may emerge where some communities post similar messages, based on the interests of those communities. Spam and other malicious content, on the other hand, follow different spreading patterns. In this paper, we follow this insight and present POISED, a system that leverages the differences in propagation between benign and malicious messages on social networks to identify spam and other unwanted content. We test our system on a dataset of 1.3M tweets collected from 64K users, and we show that our approach is effective in detecting malicious messages, reaching 91% precision and 93% recall. We also show that POISED's detection is more comprehensive than previous systems, by comparing it to three state-of-the-art spam detection systems that have been proposed by the research community in the past. POISED significantly outperforms each of these systems. Moreover, through simulations, we show how POISED is effective in the early detection of spam messages and how it is resilient against two well-known adversarial machine learning attacks.

研究の動機と目的

• 既存のスパム検出システムがアカウントやメッセージの特徴に注目するのに対し、広がりのパターンに注目するという限界を是正すること。
• メッセージが関心コミュニティを通じてどのように広がるかをモデル化することで、健全な拡散と悪意ある拡散の違いを活用してスパムを検出すること。
• 特に洗練された回避技術に対抗できるように、検出の正確性と早期同定を向上させること。
• 大規模なソーシャルネットワークにリアルタイムで導入可能なスケーラブルで耐性のあるシステムを開発すること。
• 関心コミュニティに基づく広がりのパターンが、悪意あるコンテンツを特定する信頼できるシグナルであることを示すこと。

提案手法

• グラフクラスタリングを用いてソーシャルネットワーク内の構造的コミュニティを特定し、ユーザーの接続性に基づいてネットワーキングコミュニティを形成する。
• ユーザーが生成したコンテンツにおけるトピックの類似性を分析することで関心コミュニティを同定し、トピックモデリングを用いて共通の関心を持つユーザーをグループ化する。
• これらの関心コミュニティを通じたメッセージの広がりをモデル化し、通常のパターンから逸脱する配布経路を特定する。
• ユーザー報告による正例データを用いて訓練された確率的モデルを用い、メッセージがコミュニティ間でどのように広がるかに基づいてスパムを分類する。
• 効率的な検出を可能にするために、確率的モデルを適用する前に、4-gram類似度を用いて類似したメッセージをグループ化する。
• スケーラビリティを考慮し、トピック検出とメッセージ照合を事前処理で行い、リアルタイム分類には効率的なオンラインSVM推論を採用する。

実験結果

リサーチクエスチョン

• RQ1 関心コミュニティ間でのメッセージの広がりのパターンは、スパムと正当なコンテンツを信頼性を持って区別できるか？
• RQ2 POISEDの広がりに基づく検出は、アカウントやコンテンツに基づくスパム検出システムと比較して、性能に優れているか？
• RQ3 広がりが広範に及ぶ前に対し、POISEDはスパムをどの程度早期に検出できるか？
• RQ4 POISEDは、検出を回避することを目的とした敵対的機械学習攻撃に対してどの程度耐性を示すか？
• RQ5 POISEDは、Twitterのような大規模なソーシャルネットワークに効果的にスケーリングできるか？

主な発見

• POISEDは130万件のツイートからなるデータセットで91%の精度と93%の再現率を達成し、3つの最先端のスパム検出システムを大きく上回った。
• シミュレーションにより、悪意ある広がり経路の早期同定が可能であることが示され、スパムの早期検出に有効であることが実証された。
• POISEDは2つの代表的な敵対的機械学習攻撃に対しても高い耐性を示し、回避試行に対しても高い検出精度を維持した。
• 関心コミュニティを通じたメッセージの広がりをモデル化することで、スパムが破壊する自然な配布パターンを捉えることができ、性能が向上した。
• 分散処理を用いることでPOISEDは効率的にスケーリング可能であり、5億件のツイートを1日で処理するには約150台のマシンで2時間以内に処理が可能であると推定された。
• 攻撃者が4-gramベースの類似度検出を回避しようと試みても、広がりのパターン分析の堅牢性のおかげで、本手法は依然として有効である。