[論文レビュー] Hunting for Spammers: Detecting Evolved Spammers on Twitter

Nour El-Mawass, Saad Saleh Alaboodi|arXiv (Cornell University)|Dec 8, 2015

Spam and Phishing Detection参考文献 24被引用数 7

ひとこと要約

本論文は、手動ラベルの更新、回避技術に対抗するための特徴量の精錬、およびスパムコミュニティの検出を向上させるために「ハンター」ユニットを導入することで、進化したスパム投稿者をアラビア語ツイッターで検出するデータ駆動型で適応可能な機械学習システムを提案する。従来の最先端のシステムに比べて優れた性能を発揮し、特にトレンドハッシュタグにおける高自動化・文脈のないスパムの検出において顕著である。

ABSTRACT

Once an email problem, spam has nowadays branched into new territories with disruptive effects. In particular, spam has established itself over the recent years as a ubiquitous, annoying, and sometimes threatening aspect of online social networks. Due to its prevalent existence, many works have tackled spam on Twitter from different angles. Spam is, however, a moving target. The new generation of spammers on Twitter has evolved into online creatures that are not easily recognizable by old detection systems. With the strong tangled spamming community, automatic tweeting scripts, and the ability to massively create Twitter accounts with a negligible cost, spam on Twitter is becoming smarter, fuzzier and harder to detect. Our own analysis of spam content on Arabic trending hashtags in Saudi Arabia results in an estimate of about three quarters of the total generated content. This alarming rate makes the development of adaptive spam detection techniques a very real and pressing need. In this paper, we analyze the spam content of trending hashtags on Saudi Twitter, and assess the performance of previous spam detection systems on our recently gathered dataset. Due to the escalating manipulation that characterizes newer spamming accounts, simple manual labeling currently leads to inaccurate results. In order to get reliable ground-truth data, we propose an updated manual classification algorithm that avoids the deficiencies of older manual approaches. We also adapt the previously proposed features to respond to spammers evading techniques, and use these features to build a new data-driven detection system.

研究の動機と目的

• 自動化とソーシャルネットワークの操作によって従来の検出システムを回避する、高度に進化したスパム投稿者の増加する脅威に対処すること。
• 自動化度とコンテンツパターンを考慮した更新された手動分類アルゴリズムを提案することで、スパムアカウントの正確なグランド・トゥルースラベルを提供すること。
• 最近のアラビア語ツイッターのデータに対して、従来のスパム検出特徴量とシステムの有効性を評価し、現代の回避技術に対するその限界を明らかにすること。
• コンテンツベースの特徴量と時間的特性を含む、現在のスパム行動に適応する強固で柔軟な特徴量の新規セットを開発すること。
• スパム投稿者を個別にではなく、協調的かつ相互接続されたコミュニティの一部として扱う検出システムを設計することで、検出の正確性とカバレッジを向上させること。

提案手法

• 自動化率とコンテンツの正当性を組み込んだ見直された手動分類アルゴリズムを提案し、アラビア語ツイッターのスパムアカウントに対する信頼性の高いグランド・トゥルースラベルを生成する。
• 従来提案された特徴量（コンテンツベースの指標やスパム辞書の使用など）を、テキストスパムや人工的なランダムネスといった現代の回避戦術に適応させる。
• 既知のスパムアカウントのソーシャルネットワークを活用して、事前に追加の潜在的スパム投稿者を特定・サンプリングする「ハンター」ユニットを導入する。これにより検出感度が向上する。
• 最近のデータから経験的に妥当性が確認された特徴量に基づいてトレーニングされた教師あり機械学習分類器を採用し、現在のスパム行動パターンに適合させる。
• 特徴量選択にデータ駆動型のアプローチを採用し、進化するスパム戦略や動的コンテンツ生成に対しても効果を保つ特徴量を優先的に選定する。
• ツイート投稿パターンの時間的分析を組み込み、自動化の兆候を検出することで、静的統計的特徴量を超えた検出性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 従来のスパム検出特徴量は、アラビア語ツイッターにおける現代的で進化したスパム投稿者に対してどの程度有効性を保っているのか。
• RQ2 過去の方法に起因するバイアスを回避するため、自動化度とコンテンツ正当性を的確に反映できるように、手動ラベル付けをどのように改善できるか。
• RQ3 自動化ツールとソーシャルネットワーク操作を用いて検出を回避するスパム投稿者を検出するのに最も効果的な新しい特徴量は何か。
• RQ4 従来の最先端のスパム検出システムは、最近のアラビア語ツイッターのデータに適用された場合、どの程度性能が低下するか。
• RQ5 既知のスパムアカウントのソーシャルネットワーク構造を活用する「ハンター」ユニットは、スパムコミュニティの検出を顕著に改善できるか。

主な発見

• サウジアラビアのアラビア語トレンドハッシュタグにおける約75％のツイートがスパムであり、そのうち大幅に高い割合が自動生成されたものである。
• 現在のアラビア語ツイッターのデータに対して、既存の最先端のスパム検出システムは性能を発揮しないことが判明し、スパム戦略の進化に伴い陳腐化していることが示された。
• 従来提案された特徴量のわずかなサブセット（特にコンテンツベースおよび動的辞書特徴量）しか、現代のスパム回避戦略に対して有効でない。
• 本研究で提案する検出システムは、従来のアプローチを上回る性能を発揮し、特にトレンドトピックにおける高自動化・文脈のないスパムの同定において顕著である。
• 「ハンター」ユニットは、既に特定済みのスパムアカウントのソーシャルネットワーク接続を活用することで、スパムアカウントの検出率を顕著に向上させた。
• 誤検出は主に、部分的に自動化されているか、またはハッキングされた人間アカウントといったグレーゾーンに位置するアカウントに起因しており、多クラス検出モデルの導入が求められる。