[論文レビュー] It Doesn't Break Just on Twitter. Characterizing Facebook content During Real World Events

Prateek Dewan, Ponnurangam Kumaraguru|arXiv (Cornell University)|May 19, 2014

Misinformation and Its Impacts参考文献 23被引用数 4

ひとこと要約

本研究では、16件の実世界の出来事中に、FacebookとTwitterのコンテンツを比較した。その結果、公開されているFacebookのコンテンツの30.56％が同時にTwitterにも投稿されており、Facebookは平均して12分以内にニュースを報じていた。スタイロメトリック特徴量を用いて、Facebookでは99％以上の精度、Twitterでは98％以上の精度でスパムを分類できた。これは、プライベート設定がデフォルトであるにもかかわらず、Facebookが実時間での情報拡散の可能性を有していることを示している。

ABSTRACT

Multiple studies in the past have analyzed the role and dynamics of the Twitter social network during real world events. However, little work has explored the content of other social media services, or compared content across two networks during real world events. We believe that social media platforms like Facebook also play a vital role in disseminating information on the Internet during real world events. In this work, we study and characterize the content posted on the world's biggest social network, Facebook, and present a comparative analysis of Facebook and Twitter content posted during 16 real world events. Contrary to existing notion that Facebook is used mostly as a private network, our findings reveal that more than 30% of public content that was present on Facebook during these events, was also present on Twitter. We then performed qualitative analysis on the content spread by the most active users during these events, and found that over 10% of the most active users on both networks post spam content. We used stylometric features from Facebook posts and tweet text to classify this spam content, and were able to achieve an accuracy of over 99% for Facebook, and over 98% for Twitter. This work is aimed at providing researchers with an overview of Facebook content during real world events, and serve as basis for more in-depth exploration of its various aspects like information quality, and credibility during real world events.

研究の動機と目的

• 実世界の出来事中にFacebookが公的な情報源として重要な役割を果たしているかどうかを調査し、それが主にプライベートなネットワークであるという仮定に疑問を呈すること。
• 主なグローバルイベント中に、FacebookとTwitterにおける情報の内容、タイミング、特徴を比較すること。
• 両プラットフォームにおけるスパム行動を分析し、テキストのスタイロメトリック特徴量のみを用いてスパム検出が可能かどうかを評価すること。
• Facebookが、Twitterと同等の信頼性と迅速性を備えた情報源として、危機時における潜在的価値を評価すること。

提案手法

• 16件の実世界の出来事中に、イベント固有のデータ収集フレームワークを用いて、公開可能なFacebookおよびTwitterのコンテンツを収集した。
• 両プラットフォームからテキストコンテンツ、ハッシュタグ、URLを抽出・分析し、コンテンツの重複度と時間的ダイナミクスを比較した。
• 投稿から抽出したスタイロメトリック特徴量（語彙頻度、標点、文字レベルのパターンなど）を用いて、スパム検出分類器を訓練した。
• 教師あり機械学習モデルを用いて、テキスト特徴量のみを用いて両ネットワークのスパムを分類し、高い精度を達成した。
• コンテンツおよびスパム投稿の時間的パターンを分析し、両プラットフォームにおけるバースト性や自動化された行動を特定した。
• 上位の活発ユーザーを対象とした定性的分析を通じて、コンテンツの拡散およびスパムの伝播メカニズムを理解した。

実験結果

リサーチクエスチョン

• RQ1 実世界の出来事中に、Facebookの公開コンテンツがどの程度Twitterのコンテンツと重複しているか。
• RQ2 Twitterと比較して、Facebookは実世界の出来事に関する情報をどの程度迅速に拡散しているか。
• RQ3 実世界の出来事中にFacebookに存在するスパムコンテンツの頻度と性質は何か。また、Twitterと比較してどう異なるか。
• RQ4 テキストのスタイロメトリック特徴量のみを用いて、FacebookおよびTwitterにおけるスパムを正確に検出できるか。
• RQ5 主な出来事中に、FacebookとTwitterにおける上位アクティブユーザーの行動パターンはどのように異なるか。

主な発見

• 16件の実世界の出来事中に、Facebookの公開コンテンツの30.56％が同時にTwitterにも投稿されており、両プラットフォーム間で顕著なコンテンツ重複が確認された。
• Facebookは、未だかつてない出来事について、発生後平均11.2分で報じており、以前に報告されたTwitterのタイムラインよりも顕著に迅速であった。
• 調査された出来事中に、両プラットフォームで最も活発なユーザーの10％以上がスパムコンテンツを投稿していた。
• スタイロメトリック特徴量のみを用いたスパム検出は、Facebookで99.1％、Twitterで98.3％の精度を達成し、テキストベース分類の高効果性を示した。
• Facebookのスパムはバースト性のある投稿行動を示したが、Twitterのスパムはより一貫的かつ自動化された投稿パターンを示しており、両プラットフォームで異なるスパム戦略が用いられていることが示唆された。
• Facebookのデフォルトのプライバシー設定にもかかわらず、公開可能なコンテンツの量（1日13.3億件）は、Twitterの1日5億件のツイートを大幅に上回っており、出来事時の豊富な情報源であることが明らかになった。