[論文レビュー] Making the Most of Tweet-Inherent Features for Social Spam Detection on Twitter

Bo Wang, Arkaitz Zubiaga+2 more|arXiv (Cornell University)|Mar 25, 2015

Spam and Phishing Detection参考文献 8被引用数 82

ひとこと要約

本稿では、履歴的またはネットワークデータに依存せず、コンテンツおよび基本的なメタデータのみに依存する、リアルタイムのツイート固有特徴に基づくスパムツイート検出手法を提案する。2つの手動ラベル付与済みデータセットを用い、5つの分類器と4つの特徴セットを用いて評価した結果、特に木構造ベースのモデルと、User + Bi/Tri-grams (Tf) のような組み合わせ特徴が優れた性能を示し、最小限で容易に入手可能なツイートデータのみで効果的なスパム検出が可能であることを示した。

ABSTRACT

Social spam produces a great amount of noise on social media services such as Twitter, which reduces the signal-to-noise ratio that both end users and data mining applications observe. Existing techniques on social spam detection have focused primarily on the identification of spam accounts by using extensive historical and network-based data. In this paper we focus on the detection of spam tweets, which optimises the amount of data that needs to be gathered by relying only on tweet-inherent features. This enables the application of the spam detection system to a large set of tweets in a timely fashion, potentially applicable in a real-time or near real-time setting. Using two large hand-labelled datasets of tweets containing spam, we study the suitability of five classification algorithms and four different feature sets to the social spam detection task. Our results show that, by using the limited set of features readily available in a tweet, we can achieve encouraging results which are competitive when compared against existing spammer detection systems that make use of additional, costly user features. Our study is the first that attempts at generalising conclusions on the optimal classifiers and sets of features for social spam detection over different datasets.

研究の動機と目的

• スパムによる信号対雑音比の低下がユーザーおよびデータマイニング応用に与える影響を軽減するため、ツイッターにおけるソーシャルスパムの課題に対処すること。
• 履歴的またはネットワークベースのデータ収集にかかるコストを回避するため、個々のツイートに内在する特徴のみに依存して、リアルタイムまたはニアリアルタイムに動作するスパム検出システムを構築すること。
• 2つの異なる手動ラベル付与済みデータセットを用いて、複数の分類アルゴリズムと特徴セットのスパムツイート検出における性能を評価・比較すること。
• 異なるデータセットにわたる最適な分類器および特徴の組み合わせに関する知見を一般化し、スパム検出システムの再現可能性と頑健性を高めること。
• 進化するスパムパターンおよび正当なユーザーによるスパムへの将来の適応を含めた、クロスデータセット一般化の可能性を検討すること。

提案手法

• 本研究では、スパム検出をツイート単位の分類タスクとして扱い、ユーザーのメタデータ、n-gram、センチメント、品詞数などの、1つのツイート内に存在する特徴のみを用いる。
• スパムまたはノンスパムとして分類する能力を評価するため、ロジスティック回帰、SVM、ナイーブベイズ、決定木、ランダムフォレストの5つの分類アルゴリズムを評価した。
• 4つの特徴セットを構築した：ユーザー特徴（例：フォロワー数）、n-gram（ユニグラム、バイグラム、トライグラム）、センチメント特徴、およびNSW（スパム語の数）とPOS（品詞）数の組み合わせたコンテンツ特徴。
• 特徴工学はツイート単位で実施され、特にリアルタイムデプロイメントを想定したスケーラビリティ評価のため、計算時間も測定した。
• 評価には2011年に収集された2つの大きな手動ラベル付与済みデータセットを用い、収集手法の違いによって結果の頑健性と再現性をテストした。
• 標準的な指標（例：F1スコア）を用いて性能を評価し、分類器および特徴の組み合わせごとに結果を比較して、最適な構成を同定した。

実験結果

リサーチクエスチョン

• RQ1 履歴的またはネットワークベースのユーザーデータに依存せず、ツイート固有の特徴のみで効果的なスパム検出が可能か？
• RQ2 ツイート固有の特徴に限定した場合、どの分類アルゴリズムがスパムツイート検出において最も優れた性能を示すか？
• RQ3 異なるデータセットで最高の検出性能を達成するツイート固有特徴の組み合わせは何か？
• RQ4 異なる特徴セットを個別に使用する場合と組み合わせて使用する場合とで、性能特性にどのような差があるか？
• RQ5 異なる収集手法で得られたデータセット間で、知見がどの程度一般化可能か。これは、結果の頑健性と再現性を示す。

主な発見

• 木構造ベースの分類器、特にランダムフォレストが、評価した5つのアルゴリズムの中で最高の性能を示し、本タスクにおける有効性を裏付けた。
• ユーザー特徴とBi/Tri-gram（Tf）特徴の組み合わせが、両方のデータセットで最高のF1スコアを達成した。これは、ユーザー層の信号とコンテンツ層の信号を統合することで検出性能が向上することを示している。
• NSW（スパム語の数）とPOS（品詞）数を含むコンテンツ特徴は計算コストが高く、1000件のツイートあたり約20秒の特徴工学時間がかかった。
• 複数の特徴セットを併用することで検出性能が向上し、これはスパムの多様なパターンを捉えやすくなり、スパマーによる回避を低減する可能性が高まるためである。
• ツイート固有の特徴のみで競争力ある性能を達成したため、データ収集パイプラインにおけるリアルタイムまたはニアリアルタイムでのデプロイメントに適している。
• 異なる収集手法で得られた2つのデータセットで結果が再現可能であり、最適な分類器および特徴の組み合わせに関する知見の一般化が裏付けられた。