[論文レビュー] Facebook Ad Engagement in the Russian Active Measures Campaign of 2016

Mirela Silva, Luiz Giovanini+3 more|arXiv (Cornell University)|Dec 21, 2020

Misinformation and Its Impacts参考文献 30被引用数 4

ひとこと要約

本研究では、2016年米国大統領選挙期間中のロシアのインターネット研究庁（IRA）が配信した3,517件のFacebook広告を機械学習を用いて分析し、ユーザーの関与を引き起こす要因となる特徴を同定した。広告予算、テキストサイズ、広告の有効期間、ポジティブな感情が関与を予測する上で最も強い要因であることが判明した。また、宗教関連の言語を含む社会言語的特徴も、効果的な誤情報キャンペーンにおいて重要な役割を果たしている。

ABSTRACT

This paper examines 3,517 Facebook ads created by Russia's Internet Research Agency (IRA) between June 2015 and August 2017 in its active measures disinformation campaign targeting the 2016 U.S. general election. We aimed to unearth the relationship between ad engagement (as measured by ad clicks) and 41 features related to ads' metadata, sociolinguistic structures, and sentiment. Our analysis was three-fold: (i) understand the relationship between engagement and features via correlation analysis; (ii) find the most relevant feature subsets to predict engagement via feature selection; and (iii) find the semantic topics that best characterize the dataset via topic modeling. We found that ad expenditure, text size, ad lifetime, and sentiment were the top features predicting users' engagement to the ads. Additionally, positive sentiment ads were more engaging than negative ads, and sociolinguistic features (e.g., use of religion-relevant words) were identified as highly important in the makeup of an engaging ad. Linear SVM and Logistic Regression classifiers achieved the highest mean F-scores (93.6% for both models), determining that the optimal feature subset contains 12 and 6 features, respectively. Finally, we corroborate the findings of related works that the IRA specifically targeted Americans on divisive ad topics (e.g., LGBT rights, African American reparations).

研究の動機と目的

• 2016年米国大統領選挙期間中のロシアIRAのFacebook広告に見られる、ユーザー関与を予測する特徴を特定すること。
• 社会言語的特徴、感情、メタデータが広告の効果に与える影響を理解すること。
• 機械学習モデルの予測性能が、高関与の誤情報コンテンツを同定する上でどの程度有効であるかを評価すること。
• 広告コンテンツのトピックモデリングを通じて、IRAが標的とした社会政治的トピックを特定すること。
• 国家主導の誤情報キャンペーンにおける構造的・言語的パターンを明らかにすることで、将来的な対策立案を支援すること。

提案手法

• 広告予算、有効期間などのメタデータ（例：広告予算、有効期間）、テキストサイズ、感情など、3,517件のIRA Facebook広告から41の特徴を抽出した。
• 関与（クリック数）と個々の特徴との間の関係を評価するため、相関分析を実施した。
• 6種類の機械学習モデル（例：線形SVM、ロジスティック回帰）を用いて特徴選択技術を適用し、最適な特徴サブセットを同定した。
• トピックモデリングのため、潜在ディリクレ割り当て（LDA）を用いた。広告コンテンツに含まれる主要な意味的テーマを特定した。
• LDAへのテキスト入力として、Bag-of-Words（BoW）表現を採用。社会言語的分析には17のLIWCカテゴリを用いた。
• 複数の分類器を訓練・評価し、予測性能を測定した。その結果、線形SVMとロジスティック回帰が最も高いFスコアを達成した。

実験結果

リサーチクエスチョン

• RQ1 IRAのFacebook広告において、メタデータ、感情、社会言語的特徴のうち、関与と最も強く相関するものは何か？
• RQ2 誤情報広告の高関与を予測するための最適な特徴サブセットは何か？
• RQ3 IRAの誤情報キャンペーンで最も頻繁に標的にされた社会政治的トピックは何か？
• RQ4 抽出された特徴に基づいて、機械学習モデルが高関与の誤情報広告をどの程度正確に分類できるか？
• RQ5 感情や言語的パターン（例：宗教関連語）が、広告の効果にどの程度影響を及えるか？

主な発見

• 広告予算、テキストサイズ、広告有効期間、感情が、6つの機械学習モデルすべてで一貫して関与を予測する上で最も重要な特徴として選ばれた。
• ポジティブな感情を含む広告は、ネガティブな感情を含む広告よりも有意に高い関与を引き起こしており、感情のトーンが関与の主要因であることが示された。
• 特に宗教関連語の使用を含む社会言語的特徴が、関与を予測する上で最も重要な要因の一つであった。
• 線形SVMとロジスティック回帰モデルが、平均Fスコア93.6％を達成し、それぞれ最適な特徴サブセットが12個および6個であった。
• トピックモデリングの結果、IRAはLGBT権利、アフリカ系アメリカンへの補償、第二修正権、および中絶権といった対立を引き起こす社会政治的問題を特に標的にしていた。
• 本研究は、IRAが2016年選挙期間中に社会的対立を助長するために、弱い立場に置かれたコミュニティや分断的で反発を呼びやすいコミュニティを戦略的に標的にしていたという先行研究の結果を裏付けた。