[論文レビュー] Manipulation and abuse on social media

Emilio Ferrara|arXiv (Cornell University)|Mar 12, 2015

Misinformation and Its Impacts参考文献 32被引用数 64

ひとこと要約

この論文は、フェイクニュース、協働的なボット活動、恐怖をあおる行動といった、ソーシャルメディアの乱用に起因するシステミックリスクを、2013年のAP TwitterハッキングやCynk株価操作といった事例を通じて調査している。本研究では、有害なコンテンツの検出、ソーシャルボットの同定、危機時における恐怖感情やフェイクニュースの拡散をモデル化する計算フレームワークを提案し、早期対応とプラットフォームの安全性向上を可能にする。

ABSTRACT

The computer science research community has became increasingly interested in the study of social media due to their pervasiveness in the everyday life of millions of individuals. Methodological questions and technical challenges abound as more and more data from social platforms become available for analysis. This data deluge not only yields the unprecedented opportunity to unravel questions about online individuals' behavior at scale, but also allows to explore the potential perils that the massive adoption of social media brings to our society. These communication channels provide plenty of incentives (both economical and social) and opportunities for abuse. As social media activity became increasingly intertwined with the events in the offline world, individuals and organizations have found ways to exploit these platforms to spread misinformation, to attack and smear others, or to deceive and manipulate. During crises, social media have been effectively used for emergency response, but fear-mongering actions have also triggered mass hysteria and panic. Criminal gangs and terrorist organizations like ISIS adopt social media for propaganda and recruitment. Synthetic activity and social bots have been used to coordinate orchestrated astroturf campaigns, to manipulate political elections and the stock market. The lack of effective content verification systems on many of these platforms, including Twitter and Facebook, rises concerns when younger users become exposed to cyber-bulling, harassment, or hate speech, inducing risks like depression and suicide. This article illustrates some of the recent advances facing these issues and discusses what it remains to be done, including the challenges to address in the future to make social media a more useful and accessible, safer and healthier environment for all users.

研究の動機と目的

• フェイクニュース、一括操作、恐怖をあおる行動を含む、ソーシャルメディア乱用の社会的・経済的影響を分析すること。
• 合成アカウントや一括キャンペーンを通じて、ソーシャルメディアプラットフォームが大規模な操作を可能にする仕組みを同定すること。
• 危機時における感情的コンテンツ（特に恐怖や不安）が、未検証情報の拡散をいかに加速させるかを理解すること。
• 有害コンテンツ、ソーシャルボット、計画的なキャンペーンを検出するための計算ツールを開発し、政策立案や対応策の設計を支援すること。
• 若年層がサイバーいじめ、憎悪スピーチ、精神的健康リスクに対して、ソーシャルメディアで特に脆弱であるという点を明らかにすること。

提案手法

• 2013年のAP TwitterハッキングやCynk株価の急騰といった事実の事例を分析し、金融市場へのフェイクニュースの影響を検証する。
• ネットワーク解析と時系列パターン検出を用いて、ソーシャルメディアプラットフォーム上での情報と感情的コンテンツ（例：恐怖、懸念）の拡散を追跡する。
• 感情の強さ、リツイートパターン、ネットワークの中心性といった次元から、危機関連コンテンツの特徴抽出を行い、情報認識型か恐怖誘発型かを分類する。
• コミュニティ検出アルゴリズムを用いて、緊急時における情報やパニックの拡散に関与するトピッククラスターやインフルエンサーを同定する。
• 計算モデルを活用してフェイクニュースや恐怖を含むコンテンツの拡散をシミュレート・予測し、有害キャンペーンの早期発見を可能にする。
• ユーザーの感受性、人口統計、コミュニケーションパターンに基づいて、標的型対応キャンペーンを設計するフレームワークを提言する。

実験結果

リサーチクエスチョン

• RQ1 ボットを含む一括されたソーシャルメディアキャンペーンは、金融市場や世論操作にどのように寄与するか？
• RQ2 エボラやテロ攻撃のような危機時における、パニックを誘発するコンテンツの構造的・行動的兆候は何か？
• RQ3 計算的手法によって、アストロツーリングやプロパガンダに使われる合成活動やボットネットワークをどの程度正確に同定できるか？
• RQ4 マスコミや公式発表は、緊急時における公衆の感情反応（例：認識 vs. 恐怖）にどのように影響を与えるか？
• RQ5 フェイクニュースとパニックの自己強化的サイクルを効果的に遮断するための技術的・政策的対策は何か？

主な発見

• 2013年のAP Twitterハッキングにより、ダウ・ジョーンズが3分未不到で147ポイント下落し、1360億ドルの市場評価が蒸発した。これは、ソーシャルメディアにおけるフェイクニュースが現実の経済的影響を及ぼすことを示している。
• Cynk株価の急騰（数週間で36,000％以上上昇）は、ボットやスパムアカウントによる人工的なソーシャルメディアプロモーションと関連しており、計画的な市場操作の兆候である。
• 危機時における、感情的コンテンツ（特に恐怖）は、事実情報よりも速く、広く拡散される。特にインフルエンサーからのリツイートやメンションを通じて、パニックは急速に拡散される。
• 情報ニーズと感情的反応（例：懸念、疑念）は、ネットワークの中心性とセンチメント分析を用いて定量的に測定可能であり、これがトピックコミュニティ全体における恐怖の拡大を明らかにする。
• フェイクニュースの拡散は自己強化的である：恐怖は真実と誇張の区別を鈍らせるため、未検証コンテンツの拡散がさらに促進される。
• ボット活動、センチメントの変化、拡散パターンを検出できる計算フレームワークは、危機時における被害軽減に向けた早期で的確な対応を支援できる。