[论文解读] A Public Dataset Tracking Social Media Discourse about the 2024 U.S. Presidential Election on Twitter/X

A. Balasubramanian, Vito Zou+4 more|arXiv (Cornell University)|Nov 1, 2024

Social Media and Politics被引用 4

一句话总结

本文介绍了一个公开可用的数据集，包含2024年5月1日至7月31日期间收集的2200万条X（前身为Twitter）帖子，追踪美国2024年总统大选期间的舆论动态。研究团队使用自建的网络爬虫，结合针对性关键词，捕捉了政治情绪、热门话题和叙事演变，为研究虚假信息、政治参与度及平台影响力提供了强有力的资源支持，尤其聚焦于大选周期中的相关议题。

ABSTRACT

In this paper, we introduce the first release of a large-scale dataset capturing discourse on $\mathbb{X}$ (a.k.a., Twitter) related to the upcoming 2024 U.S. Presidential Election. Our dataset comprises 22 million publicly available posts on X.com, collected from May 1, 2024, to July 31, 2024, using a custom-built scraper, which we describe in detail. By employing targeted keywords linked to key political figures, events, and emerging issues, we aligned data collection with the election cycle to capture evolving public sentiment and the dynamics of political engagement on social media. This dataset offers researchers a robust foundation to investigate critical questions about the influence of social media in shaping political discourse, the propagation of election-related narratives, and the spread of misinformation. We also present a preliminary analysis that highlights prominent hashtags and keywords within the dataset, offering initial insights into the dominant themes and conversations occurring in the lead-up to the election. Our dataset is available at: url{https://github.com/sinking8/usc-x-24-us-election

研究动机与目标

• 为研究人员提供一个大规模、公开可访问的实时政治舆论数据集，涵盖2024年美国总统大选期间在X平台上的政治 discourse。
• 支持对政治叙事、话题标签和关键词如何随重大事件（如总统辩论、支持声明和候选人提名）演变的纵向分析。
• 支持对虚假信息、有组织的非真实行为，以及认证用户和机器人在塑造与选举相关舆论中所起作用的研究。
• 通过与选举时间线对齐的关键词抓取方法，建立可复现、透明的数据采集框架。
• 通过提供标准化数据集，为未来跨平台比较研究奠定基础，以支持对数字政治生态系统的分析。

提出的方法

• 使用Chromium驱动和多个个人账户构建的自定义网络爬虫（X-Scraper），以遵守X.com的服务条款。
• 爬虫通过使用逻辑或（OR）的关键词查询、时间范围过滤（since/until）以及帖子类型过滤（如转发、引用）来捕获相关内容。
• 数据采集按时间区间分段进行，并动态更新关键词以反映实时事件，例如在7月13日特朗普遇刺事件后添加'Assassination'，在JD Vance被提名为副总统候选人后添加'JD Vance'。
• 系统定期执行合理性检查，以确保数据覆盖完整并最小化数据缺口，同时考虑X.com界面限制和速率限制（每账户约2300条/小时）。
• 元数据包括帖子内容、用户信息、媒体、互动指标和互动类型，支持对用户行为和内容传播范围的分析。
• 数据集以结构化模式存储，并通过GitHub公开发布，计划在整个大选周期内持续更新。

Figure 1. Timeline Plot of Hashtag Occurrences (May-July 2024)

实验结果

研究问题

• RQ1 在X平台上，政治话题标签和关键词如何随重大选举事件而演变？
• RQ2 认证用户和疑似机器人在放大或塑造与选举相关的舆论中扮演何种角色？
• RQ3 X平台上的舆论如何反映2024年美国总统大选前公众情绪和意识形态极化的趋势？
• RQ4 尽管存在平台界面限制，基于关键词的抓取在多大程度上能捕获X平台上公众舆论的代表性样本？
• RQ5 在高风险的大选周期中，有组织的非真实行为和虚假信息叙事如何出现并传播？

主要发现

• 该数据集包含2024年5月1日至7月31日期间收集的2200万条公开可访问的X帖子，覆盖了大选前奏阶段的全面舆论动态。
• 初步分析显示，主导的话题标签和关键词包括'thedemocrats'、'DNC'、'Kamala Harris'、'Republican party'和'Third Party'，反映出核心政党和候选人相关的舆论焦点。
• 动态关键词更新策略成功捕捉到实时舆论变化，包括在重大事件后'Assassination'和'JD Vance'提及量的显著上升。
• 尽管存在平台限制，爬虫在观察窗口期内实现了对公开数据的近乎完整覆盖，经人工监控确认。
• 该数据集具有高度的时间和主题相关性，与关键选举里程碑保持一致，支持对政治舆论演变的纵向分析。
• 该数据集可通过 https://github.com/sinking8/usc-x-24-us-election 公开获取，计划在整个大选周期内持续更新，以支持持续的研究工作。