[論文レビュー] Collective Classification of Spam Campaigners on Twitter: A Hierarchical Meta-Path Based Approach

Srishti Gupta, Abhinav Khattar+3 more|arXiv (Cornell University)|Feb 12, 2018

Spam and Phishing Detection被引用数 13

ひとこと要約

本稿では、URLの代わりに電話番号を広めるスパムキャンペーンを検出するための階層的メタパスに基づく集合分類手法を提案する。Twitterを非均質的ネットワークとしてモデル化し、フィードバックに基づくアクティブラーニングを用いた新規の階層的メタパススコア（HMPS）を導入することで、最良のベースラインと比較してAUCが67.3%高く、F1スコアが6.9%高く、以前に検出されていなかったスパム投稿者を効果的に同定した。

ABSTRACT

Cybercriminals have leveraged the popularity of a large user base available on Online Social Networks to spread spam campaigns by propagating phishing URLs, attaching malicious contents, etc. However, another kind of spam attacks using phone numbers has recently become prevalent on OSNs, where spammers advertise phone numbers to attract users' attention and convince them to make a call to these phone numbers. The dynamics of phone number based spam is different from URL-based spam due to an inherent trust associated with a phone number. While previous work has proposed strategies to mitigate URL-based spam attacks, phone number based spam attacks have received less attention. In this paper, we aim to detect spammers that use phone numbers to promote campaigns on Twitter. To this end, we collected information about 3,370 campaigns spread by 670,251 users. We model the Twitter dataset as a heterogeneous network by leveraging various interconnections between different types of nodes present in the dataset. In particular, we make the following contributions: (i) We propose a simple yet effective metric, called Hierarchical Meta-Path Score (HMPS) to measure the proximity of an unknown user to the other known pool of spammers. (ii) We design a feedback-based active learning strategy and show that it significantly outperforms three state-of-the-art baselines for the task of spam detection. Our method achieves 6.9% and 67.3% higher F1-score and AUC, respectively compared to the best baseline method. (iii) To overcome the problem of less training instances for supervised learning, we show that our proposed feedback strategy achieves 25.6% and 46% higher F1-score and AUC respectively than other oversampling strategies. Finally, we perform a case study to show how our method is capable of detecting those users as spammers who have not been suspended by Twitter (and other baselines) yet.

研究の動機と目的

• 従来のURLベースのスパムとは異なる、電話番号を主たる攻撃ベクトルとするスパムキャンペーンの増加する脅威に対処する。既存の文献ではこの分野は未解明である。
• ユーザー、キャンペーン、電話番号の相互作用を捉える非均質的ネットワークとしてTwitterをモデル化し、スパム検出を向上させる。
• 既知のスパム投稿者ネットワークへの近接性に基づく集合分類を用いて、未知のスパム投稿者をスケーラブルかつ効果的に同定する手法を開発する。
• 教師あり学習におけるデータ不足を克服するため、標準的なオーバーサンプリング手法を上回るフィードバックに基づくアクティブラーニング戦略を導入する。
• Twitterや既存の検出システムで停止されていないまま、依然として活動を続けているスパム投稿者を同定する。

提案手法

• 著者らは、ユーザー、キャンペーン、電話番号をノードとし、リツイート、メンション、キャンペーンの拡散などの相互作用をエッジとする非均質的ネットワークとしてTwitterデータセットをモデル化する。
• 階層的メタパススコア（HMPS）を導入し、ネットワーク内の複数の階層的メタパスにわたる類似度スコアを統合することで、未知のユーザーと既知のスパマーとの間の類似度を測定する。
• フィードバックに基づくアクティブラーニング戦略を採用し、反復的に人間によるアノテーションが求められる最も情報量の多い未ラベル付きユーザーを選択することで、最小限のラベル付け作業でモデル性能を向上させる。
• HMPSは、異なるメタパス（例：ユーザー → 電話番号 → ユーザー）の意味的特徴を活用し、構造的類似度を捉え、スパム行動と正当な行動を区別する。
• フィードバックでアノテートされたデータに基づくワンクラス分類器を用いることで、限られた正例訓練インスタンスでも効果的な検出が可能になる。
• 実世界のデータセット（3,370件のキャンペーン、670,251人のユーザー）を用いて評価し、人間によるアノテーションによる正解ラベルを用いて検証した。

実験結果

リサーチクエスチョン

• RQ1 電話番号を主たる攻撃ベクトルとするスパムキャンペーンを、Twitter上で効果的に検出するにはどうすればよいか？
• RQ2 既知のスパムネットワークへの構造的近接性を測定することで、階層的メタパスは未知のスパム投稿者の検出をどの程度向上できるか？
• RQ3 データが限られた状況下で、フィードバックに基づくアクティブラーニング戦略は、従来の教師あり学習およびオーバーサンプリング手法を顕著に上回ることができるか？
• RQ4 F1スコアおよびAUCの観点から、本手法は既存のベースラインと比較して、特に停止されていないスパム投稿者の検出においてどの程度優れているか？
• RQ5 本モデルは、Twitter自身のシステムや既存のベースラインでは検出されていなかったスパムアカウントを同定できるか？

主な発見

• 提案されたフィードバックに基づくアクティブラーニング戦略は、最良のベースライン手法と比較してF1スコアが6.9%高く、AUCが67.3%高い。
• 訓練データが限られた状況下で、標準的なオーバーサンプリング手法と比較して、F1スコアで25.6%高く、AUCで46%高い。
• 階層的メタパススコア（HMPS）は、非均質的ネットワークにおける構造的類似度を効果的に捉え、スパマーに類似した行動を正確に同定できる。
• 事例研究により、本手法はTwitterが停止していない15.2%のスパムアカウントを検出でき、既存のベースラインでは見逃されていた。
• フィードバック駆動のラベリング戦略のおかげで、正例が希薄な状況下でも高い汎化性能を示し、性能が著しく維持される。
• 結果から、意味的メタパスを備えた非均質的ネットワークとしてOSNをモデル化することで、均質的ネットワークや特徴ベースのアプローチをはるかに上回るスパム検出性能が得られることを検証した。