[論文レビュー] Mining User Comment Activity for Detecting Forum Spammers in YouTube

Ashish Sureka|arXiv (Cornell University)|Mar 25, 2011

Spam and Phishing Detection参考文献 11被引用数 47

ひとこと要約

本稿では、繰り返しコメント、投稿間隔が極めて短い、スパムフラグの頻度が非常に高いといったユーザーのコメント活動パターンを分析することで、YouTubeのスパムコメント投稿者をルールベースで検出する手法を提案する。240名のユーザーと13,000件のコメントを対象とした実証的分析により、PCHF > 70%、ATDC < 150秒、VIDOVP > 60%といった特徴量がスパム行動の強力な指標であることが示され、行動ヒューリスティクスによって信頼性の高い検出が可能であることが明らかになった。

ABSTRACT

Research shows that comment spamming (comments which are unsolicited, unrelated, abusive, hateful, commercial advertisements etc) in online discussion forums has become a common phenomenon in Web 2.0 applications and there is a strong need to counter or combat comment spamming. We present a method to automatically detect comment spammer in YouTube (largest and a popular video sharing website) forums. The proposed technique is based on mining comment activity log of a user and extracting patterns (such as time interval between subsequent comments, presence of exactly same comment across multiple unrelated videos) indicating spam behavior. We perform empirical analysis on data crawled from YouTube and demonstrate that the proposed method is effective for the task of comment spammer detection.

研究の動機と目的

• YouTubeのフォーラムにおけるスパム投稿者を検出するための、ユーザーのコメント活動パターンが信頼できる指標として機能するかどうかを調査すること。
• コンテンツベースのスパム検出の限界を補うために、使用状況に基づく行動特徴を導入すること。
• コメントの繰り返しやタイミングといった行動マーカーの有効性を、実証的に検証すること。
• メッセージレベルのスパム検出とは異なり、ユーザー単位での分類アプローチを提示すること。

提案手法

• 本手法はYouTubeのユーザーのコメント活動ログを収集し、投稿間隔（ATDC）、複数の動画にわたるコメントの繰り返し（CRR）、スパムフラグの頻度（PCHF）といった行動特徴を抽出する。
• 同一の内容が複数の関連のない動画に投稿されているかどうかを特定するため、動画内重複度（VIDOVP）とコメント内重複度（COMOVP）を計算する。
• しきい値を用いたルールベースの分類器を定義する：SPAMMER = (PCHF > 70) OR (ATDC < 150) OR (COMOVP > 0.60) OR (VIDOVP > 0.60)。
• Ground truthとしてYouTubeのhasSpamHintフラグを用いるが、完全ではないため、手動での検証を併用する。
• 240名のユーザーと13,000件以上のコメントを含むクロール済みデータセットを用いて、5件以上のコメントを投稿したユーザーに限定して実証的評価を実施する。
• 複数の次元（例：スパム割合 vs. CRR、ATDC vs. コメント数）における可視化と統計的分析を用いて、スパマーのクラスタを特定する。

実験結果

リサーチクエスチョン

• RQ1 繰り返しやタイミングといったユーザーのコメント活動パターンは、YouTubeフォーラムにおけるスパムコメント投稿者の検出に利用可能か？
• RQ2 コメントの繰り返しや時間的間隔といった使用状況ベースの特徴量は、スパマーと正当なユーザーを区別する上でどの程度有効か？
• RQ3 既存のコンテンツベースのスパム検出システムは、どの程度スパマーを逃しているのか。行動分析はこのギャップを埋められるか？
• RQ4 YouTubeにおけるスパム投稿行動を示すコメントログにおける最も顕著な行動マーカーは何か？

主な発見

• 30件以上のコメントを投稿し、CRRが0.7を超えるユーザーは、モデレーターによって80%以上のコメントがスパムとしてマークされていることが判明し、繰り返しが強力なスパム指標であることが確認された。
• スパマーは複数の関連のない動画に同一のコメントを頻繁に投稿しており、確認済みの事例ではVIDOVPが60%を超えていた。
• スパムコメントの多くがhasSpamHintフラグでマークされていなかったため、手動によるタグ付けに加えて、自動化された行動検出の必要性が示された。
• ルールベースの分類器は高い検出精度を達成しており、ATDC vs. コメント数のプロットにおける右下領域（ATDC < 150秒、20件以上）に位置するユーザーは、強力なスパマー候補であることが分かった。
• 手動での検証により、モデルで特定されたユーザーは、「PLZ SUBSCRIBE」やプロモーションリンクなど、同一または類似したスパムコンテンツを投稿していた。
• PCHF（>70%）、ATDC（<150秒）、COMOVP/VIDOVPの高い値を併せ持つユーザーは、信頼性の高いスパマーとして特定可能であり、ヒューリスティクスモデルの有効性が裏付けられた。