[論文レビュー] Who Falls for Online Political Manipulation?

Adam Badawy, Kristina Lerman+1 more|arXiv (Cornell University)|Aug 9, 2018

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究では、2016年米国大統領選挙期におけるロシアのトールが投稿したコンテンツを拡散しやすいユーザーを予測する機械学習モデルを開発した。政治的イデオロギー、ボットの可能性スコア、ユーザー活動指標を活用することで、拡散者を特定するAUCが96％に達し、これらの特徴量がオンラインでの政治的操作に対する感受性を強く予測できることを示している。

ABSTRACT

Social media, once hailed as a vehicle for democratization and the promotion of positive social change across the globe, are under attack for becoming a tool of political manipulation and spread of disinformation. A case in point is the alleged use of trolls by Russia to spread malicious content in Western elections. This paper examines the Russian interference campaign in the 2016 US presidential election on Twitter. Our aim is twofold: first, we test whether predicting users who spread trolls' content is feasible in order to gain insight on how to contain their influence in the future; second, we identify features that are most predictive of users who either intentionally or unintentionally play a vital role in spreading this malicious content. We collected a dataset with over 43 million elections-related posts shared on Twitter between September 16 and November 9, 2016, by about 5.7 million users. This dataset includes accounts associated with the Russian trolls identified by the US Congress. Proposed models are able to very accurately identify users who spread the trolls' content (average AUC score of 96%, using 10-fold validation). We show that political ideology, bot likelihood scores, and some activity-related account meta data are the most predictive features of whether a user spreads trolls' content or not.

研究の動機と目的

• ロシアのトールが投稿したコンテンツを拡散する可能性があるユーザーを、その行動が起こる前にも予測可能かどうかを調査すること。
• 意図的または無意識的に悪意ある政治的コンテンツを拡散するユーザーを区別する上で、最も予測力の高い特徴量を同定すること。
• ソーシャルメディア上のフェイクニュース拡散を抑制するための早期警戒システムの開発を支援すること。
• 政治的イデオロギー、ボット行動、ユーザー活動の程度が、操作への感受性に果たす役割を理解すること。

提案手法

• 2016年9月16日から11月9日までの間、キーワードおよびハッシュタグに基づくTwitter APIクエリを用いて、570万人のユーザーが投稿した4300万件の選挙関連ツイートを収集した。
• 米国議会が公開した221件のロシアのトールアカウントリストと照合し、それらが投稿したコンテンツを特定した。
• 政治的イデオロギー、フォロワー数、ツイート数、ボットの可能性スコアなどのユーザー単位の特徴量を用いて、勾配ブースティングを含む複数の機械学習分類器を訓練した。
• モデルの性能を評価するために10分割交差検証を実施し、主にAUC（受信者操作特性曲線下の面積）を指標とした。
• 特に政治的イデオロギーやボットスコアの影響を解釈するため、部分従属解析を実施した。
• 欠損値を含むケースを含めたバランスの取れたサブセットおよび全データセットに対して結果を検証し、モデルの頑健性を確認した。

実験結果

リサーチクエスチョン

• RQ1 2016年米国大統領選挙期に、ロシアのトールが投稿したコンテンツを拡散しやすいユーザーを予測できるか？
• RQ2 ユーザー単位のどの特徴量が、ロシアのトールコンテンツを拡散するかどうかを最も強く予測するか？
• RQ3 政治的イデオロギー、ボット行動、ユーザー活動レベルは、操作への感受性にどのように影響するか？
• RQ4 機械学習モデルは、トールコンテンツを拡散するユーザーとそうでないユーザーをどの程度正確に区別できるか？

主な発見

• 勾配ブースティングを用い、全特徴量を組み合わせた場合、モデルはロシアのトールコンテンツを拡散するユーザーとそうでないユーザーを区別する際、平均してAUCが96％を達成した。
• 政治的イデオロギーが最も予測力の高い特徴量であり、右寄りのユーザーがトールコンテンツの拡散に対して感受性が高かった。
• ボットの可能性スコアとユーザー活動指標（ツイート数、フォロワー数など）も、上位の予測特徴量に含まれた。
• トールコンテンツを拡散するユーザーは、一般的に活発な活動（多数のツイート投稿）を示し、ボットスコアが高く、保守的傾向が強い傾向にあったが、オリジナル投稿数やフォロワー数は少ない傾向にあった。
• 欠損値を除いた全データセットに対しても、AUCが90％を超える高い性能を維持しており、モデルの頑健性が裏付けられた。
• 部分従属プロットにより、政治的イデオロギーがモデル予測に最も強い影響を与えることが確認され、次いでフォロワー数とアカウント年数が続くことが示された。