[論文レビュー] Detecting Malicious Content on Facebook

Prateek Dewan, Ponnurangam Kumaraguru|arXiv (Cornell University)|Jan 5, 2015

Spam and Phishing Detection参考文献 19被引用数 6

ひとこと要約

本論文は、17件の主要な出来事の公開データを用いて訓練された42特徴量の機械学習モデルを用いて、悪意あるFacebookコンテンツのリアルタイムでゼロ時間検出を実現するシステムを提案する。エンティティプロフィール、テキストコンテンツ、メタデータ、URL特徴量を活用することで、86.9%の正確性を達成し、従来のクラスタリングベースの手法よりも2倍以上多くの悪意ある投稿を検出する。本番環境で利用可能なREST APIとChromeブラウザプラグインを備え、実世界での利用を可能にしている。

ABSTRACT

Online Social Networks (OSNs) witness a rise in user activity whenever an event takes place. Malicious entities exploit this spur in user-engagement levels to spread malicious content that compromises system reputation and degrades user experience. It also generates revenue from advertisements, clicks, etc. for the malicious entities. Facebook, the world's biggest social network, is no exception and has recently been reported to face much abuse through scams and other type of malicious content, especially during news making events. Recent studies have reported that spammers earn $200 million just by posting malicious links on Facebook. In this paper, we characterize malicious content posted on Facebook during 17 events, and discover that existing efforts to counter malicious content by Facebook are not able to stop all malicious content from entering the social graph. Our findings revealed that malicious entities tend to post content through web and third party applications while legitimate entities prefer mobile platforms to post content. In addition, we discovered a substantial amount of malicious content generated by Facebook pages. Through our observations, we propose an extensive feature set based on entity profile, textual content, metadata, and URL features to identify malicious content on Facebook in real time and at zero-hour. This feature set was used to train multiple machine learning models and achieved an accuracy of 86.9%. The intent is to catch malicious content that is currently evading Facebook's detection techniques. Our machine learning model was able to detect more than double the number of malicious posts as compared to existing malicious content detection techniques. Finally, we built a real world solution in the form of a REST based API and a browser plug-in to identify malicious Facebook posts in real time.

研究の動機と目的

• 高関与のイベント中、Facebookの既存の検出メカニズムを回避する悪意あるFacebookコンテンツを特定すること。
• ニュース発表イベント中に投稿される悪意あるコンテンツと正当なコンテンツの違いを特定すること。
• 公開利用可能なリアルタイム特徴量のみを用いて、リアルタイムでゼロ時間検出を実現するシステムを開発すること。
• エンドユーザーが即座に悪意あるFacebook投稿を検出できる、REST APIとブラウザプラグインを含む実装可能なソリューションを構築すること。

提案手法

• 2013年4月から2014年7月の間に、17件の世界的な出来事において、330万件のユニークなエンティティから440万件の公開Facebook投稿を収集した。
• エンティティプロフィール、テキストコンテンツ、メタデータ、URL特性からなる、完全な42特徴量のセットを、公開データにのみ依存して設計した。
• WOTレーティングを用いて悪意あるコンテンツを特定するラベル付きデータセットを用いて、複数の機械学習モデル（特にランダムフォレスト）を訓練した。
• バーストネスおよび分布のしきい値を用いて、従来のクラスタリングベースのキャンペーン検出技術と性能を比較評価した。
• Facebook投稿IDを入力として受け付け、事前に訓練されたモデルによる推論で悪意ある／正当な分類を返すRESTベースのAPIを開発した。
• REST APIをクエリすることで、リアルタイムに悪意ある投稿を自動検出し、マークするChromeブラウザプラグインを構築した。

実験結果

リサーチクエスチョン

• RQ1 高関与のイベント中に、悪意あるFacebook投稿と正当な投稿をどのように特徴づけられるか？
• RQ2 既存のFacebook検出メカニズムは、ウイルス的拡散イベント中にどれほど悪意あるコンテンツを逃すのか？
• RQ3 公開利用可能なリアルタイム特徴量のみを用いたゼロ時間検出システムは、既存のキャンペーン検出技術を上回ることができるか？
• RQ4 Facebookのネイティブ免疫システムを回避する悪意あるコンテンツを識別するために、公開特徴量に基づいて訓練された機械学習モデルはどれほど効果的か？
• RQ5 実用的でエンドユーザー向けのソリューション（APIとブラウザプラグイン）は、リアルタイムで悪意あるFacebookコンテンツを効果的に検出し、ユーザーに警告できるか？

主な発見

• 悪意あるエンティティは主にウェブおよびサードパーティ製アプリケーションを用いてコンテンツを投稿するが、正当なユーザーはモバイルプラットフォームを好む。
• 悪意あるコンテンツの大部分はFacebookページから発信されており、以前は軽視されていた攻撃ベクトルであることが浮き彫りになった。
• 提案された機械学習モデルは、42特徴量セットを用いたランダムフォレスト分類器により、86.9%の正確性を達成した。
• このモデルは、従来のクラスタリングベースのキャンペーン検出技術よりも、悪意ある投稿を2倍以上多く検出した。
• 4,306のクラスタのうち、バーストネスおよび分布のしきい値を満たすのは183個（429万4,000件）にとどまり、これは従来手法における61.7%の偽陰性率を示している。
• REST APIとブラウザプラグインは、リアルタイム検出をユーザーの作業ワークフローに効果的に統合し、即時のユーザー層保護を可能にした。