[論文レビュー] A Public Dataset Tracking Social Media Discourse about the 2024 U.S. Presidential Election on Twitter/X

A. Balasubramanian, Vito Zou+4 more|arXiv (Cornell University)|Nov 1, 2024

Social Media and Politics被引用数 4

ひとこと要約

本論文は、2024年5月1日から7月31日までに収集された、X（旧Twitter）の投稿2200万件からなる公開データセットを紹介している。このデータセットは、2024年米国大統領選挙に関する議論を追跡するもので、特定キーワードを用いたカスタムスクリーパーを活用して、進化する政治的センチメント、トレンドトピック、ナラティブのダイナミクスを捉え、研究者にとって、選挙期間中の誤情報、政治的関与、プラットフォームの影響力に関する強固なリソースを提供する。

ABSTRACT

In this paper, we introduce the first release of a large-scale dataset capturing discourse on $\mathbb{X}$ (a.k.a., Twitter) related to the upcoming 2024 U.S. Presidential Election. Our dataset comprises 22 million publicly available posts on X.com, collected from May 1, 2024, to July 31, 2024, using a custom-built scraper, which we describe in detail. By employing targeted keywords linked to key political figures, events, and emerging issues, we aligned data collection with the election cycle to capture evolving public sentiment and the dynamics of political engagement on social media. This dataset offers researchers a robust foundation to investigate critical questions about the influence of social media in shaping political discourse, the propagation of election-related narratives, and the spread of misinformation. We also present a preliminary analysis that highlights prominent hashtags and keywords within the dataset, offering initial insights into the dominant themes and conversations occurring in the lead-up to the election. Our dataset is available at: url{https://github.com/sinking8/usc-x-24-us-election

研究の動機と目的

• 2024年米国大統領選挙期間中にX上で発生するリアルタイムの政治的議論を、大規模かつ公開可能なデータセットとして研究者に提供すること。
• 大規模な出来事（討論、支援表明、候補者発表など）に応じて、政治的ナラティブ、ハッシュタグ、キーワードがどのように変化するかを縦断的分析できるようにすること。
• 誤情報、一時的でない不正行動、公式認証ユーザーおよびボットの役割が選挙関連の議論をどのように形作っているかを研究する支援をすること。
• 選挙スケジュールに沿ったキーワードベースのスクレイピングを用いて、再現可能で透明性の高いデータ収集フレームワークを確立すること。
• 今後のデジタル政治エコシステムの比較研究の基盤を提供するため、標準化されたデータセットを提供すること。

提案手法

• X.comの利用規約を遵守するため、Chromiumドライバと複数の個人アカウントを用いて構築したカスタムウェブスクリーパー「X-Scraper」。
• OR論理を用いたターゲットキーワードクエリ、日時範囲フィルタ（since/until）、投稿タイプフィルタ（例：リツイート、引用投稿）を活用して関連コンテンツを収集。
• 時間帯ごとのデータ収集セグメントを設定し、リアルタイムの出来事に応じたキーワードの動的更新を実施。例：7月13日トランプ襲撃事件後には「Assassination」を追加、バーディクティブ・ノミネーション後には「JD Vance」を追加。
• データカバレッジの確保とギャップの最小限化を図るため、定期的な健全性チェックを実施。X.comのインターフェース制限およびレート制限（アカウント1件あたり約2,300投稿/時間）を考慮。
• 投稿本文、ユーザー情報、メディア、エンゲージメントメトリクス、相互作用タイプなどのメタデータを含め、ユーザー行動とコンテンツの到達範囲の分析を可能にする。
• データセットは構造化されたスキーマで保存され、GitHub経由で公開され、選挙期間中に継続的な更新が予定されている。

Figure 1. Timeline Plot of Hashtag Occurrences (May-July 2024)

実験結果

リサーチクエスチョン

• RQ1 X上で、主要な選挙イベントに応じて政治的ハッシュタグやキーワードはどのように変化するか？
• RQ2 公式認証ユーザーと疑わしきボットは、X上の選挙関連ナラティブをどのように拡散または形成しているか？
• RQ3 X上の議論は、2024年米国大統領選挙に向けた公的な感情とイデオロギー的極端化をどの程度反映しているか？
• RQ4 プラットフォームのインターフェース制限がある中でも、キーワードベースのスクレイピングがX上での公的議論の代表的サンプルをどの程度正確に捉えられるか？
• RQ5 高リスクの選挙サイクル中に、一時的でない不正行動と誤情報ナラティブはどのようにして出現し、広がるか？

主な発見

• 2024年5月1日から7月31日までに収集された2200万件の公開可能なX投稿からなるデータセットであり、予選会議までの期間を包括的にカバーしている。
• 初期分析から、「thedemocrats」、「DNC」、「Kamala Harris」、「Republican party」、「Third Party」などの主要なハッシュタグやキーワードが顕著に現れ、主要政党および候補者に関する議論を反映している。
• 動的キーワード更新戦略により、主要出来事に伴うリアルタイムの議論の変化（例：「Assassination」や「JD Vance」の言及数の急増）を効果的に捉えた。
• プラットフォームの制限があるにもかかわらず、手動による監視で確認されたように、観察期間中の公開データのほぼ完全なカバレッジを達成した。
• データセットは時間的およびトピック的関連性が高く、主要な選挙のマイルストーンと整合しており、政治的議論の変遷を縦断的に分析可能である。
• データセットは https://github.com/sinking8/usc-x-24-us-election で公開されており、選挙期間中に継続的な更新が予定されており、研究を継続的に支援する。