[논문 리뷰] A Public Dataset Tracking Social Media Discourse about the 2024 U.S. Presidential Election on Twitter/X

A. Balasubramanian, Vito Zou외 4명|arXiv (Cornell University)|2024. 11. 01.

Social Media and Politics인용 수 4

한 줄 요약

이 논문은 2024년 미국 대선 논의를 추적하기 위해 2024년 5월 1일부터 7월 31일까지 수집된 2,200만 건의 X(이전에 트위터) 게시글로 구성된 공개 데이터셋을 소개한다. 저자들은 목표 키워드를 활용한 맞춤형 스크래퍼를 구축하여 정치적 감정, 유행어, 내러티브 역학을 파악함으로써 연구자들이 대선 주기 동안 가짜 정보, 정치적 참여도, 플랫폼 영향력에 대해 연구할 수 있는 강력한 자원을 제공한다.

ABSTRACT

In this paper, we introduce the first release of a large-scale dataset capturing discourse on $\mathbb{X}$ (a.k.a., Twitter) related to the upcoming 2024 U.S. Presidential Election. Our dataset comprises 22 million publicly available posts on X.com, collected from May 1, 2024, to July 31, 2024, using a custom-built scraper, which we describe in detail. By employing targeted keywords linked to key political figures, events, and emerging issues, we aligned data collection with the election cycle to capture evolving public sentiment and the dynamics of political engagement on social media. This dataset offers researchers a robust foundation to investigate critical questions about the influence of social media in shaping political discourse, the propagation of election-related narratives, and the spread of misinformation. We also present a preliminary analysis that highlights prominent hashtags and keywords within the dataset, offering initial insights into the dominant themes and conversations occurring in the lead-up to the election. Our dataset is available at: url{https://github.com/sinking8/usc-x-24-us-election

연구 동기 및 목표

• 2024년 미국 대선 기간 동안 X 플랫폼에서의 실시간 정치적 논의를 대규모로 공개할 수 있는 데이터셋을 연구자들에게 제공하기 위해.
• 대통령 토론, 지지 선언, 후보자 발표 등의 주요 사건에 대응하여 정치 내러티브, 해시태그, 키워드의 변화를 종단적 분석할 수 있도록 하기 위해.
• 가짜 정보, 조작된 비인간적 행동, 검증된 사용자 및 봇이 선거 관련 논의를 어떻게 형성하는지 연구를 지원하기 위해.
• 선거 일정에 부합하는 키워드 기반 스크래핑을 통해 재현 가능하고 투명한 데이터 수집 프레임워크를 구축하기 위해.
• 향후 디지털 정치 생태계 분석을 위한 표준화된 데이터셋을 제공함으로써 다중 플랫폼 비교 연구의 기초를 마련하기 위해.

제안 방법

• X.com의 이용 약관을 준수하기 위해 크로미움 드라이버와 여러 개인 계정을 활용해 구축한 맞춤형 웹 스크래퍼인 X-Scraper.
• OR 논리 기반의 타겟 키워드 쿼리, 시간 범위 필터링(since/until), 게시물 유형 필터(예: 재게시, 인용)를 사용해 관련 콘텐츠를 수집.
• 실시간 사건 반영을 위해 시간 간격 기반 데이터 수집과 동적 키워드 업데이트를 수행함. 예를 들어, 7월 13일 트럼프 총격 사건 이후 'assassination'(암살) 키워드 추가, VP 지명 이후 'JD Vance' 키워드 추가.
• 데이터 커버리지 확보 및 격차 최소화를 위해 정기적인 신뢰성 검증을 수행하며, X.com의 인터페이스 제약 및 속도 제한(~시간당 약 2,300건/계정)을 고려함.
• 게시물 내용, 사용자 정보, 미디어, 참여 지표, 상호작용 유형 등 메타데이터를 포함하여 사용자 행동과 콘텐츠 영향력 분석이 가능함.
• 데이터셋은 구조화된 스키마로 저장되며, GitHub를 통해 공개 제공되며, 선거 주기 전반에 걸쳐 지속적인 업데이트 계획이 수립되어 있음.

Figure 1. Timeline Plot of Hashtag Occurrences (May-July 2024)

실험 결과

연구 질문

• RQ1 X 플랫폼에서 주요 선거 이벤트에 대응하여 정치적 해시태그와 키워드는 어떻게 변화하는가?
• RQ2 검증된 사용자와 의심스러운 봇은 X 플랫폼에서 선거 관련 내러티브를 어떻게 확산하거나 형성하는가?
• RQ3 X 플랫폼의 논의는 2024년 미국 대선을 앞두고 공중의 감정과 이념적 균열을 어떻게 반영하는가?
• RQ4 플랫폼 인터페이스 제약에도 불구하고 키워드 기반 스크래핑이 X에서 공중 논의의 대표성 있는 샘플을 얼마나 잘 포괄하는가?
• RQ5 고위험 선거 주기 동안 조작된 비인간적 행동과 가짜 정보 내러티브는 어떻게 발생하고 확산되는가?

주요 결과

• 2024년 5월 1일부터 7월 31일까지 수집된 2,200만 건의 공개 게시글로 구성된 데이터셋은 대선 전 컨vention 기간 동안 포괄적인 범위를 커버함.
• 초기 분석 결과, 'thedemocrats', 'DNC', 'Kamala Harris', 'Republican party', 'Third Party' 등의 주요 해시태그와 키워드가 부각되며 주로 정당 및 후보 논의를 반영함.
• 동적 키워드 업데이트 전략이 주요 사건 이후 논의 변화를 성공적으로 포착함. 예를 들어, 'Assassination'(암살)과 'JD Vance' 언급 수가 급격히 증가함.
• 플랫폼 제약에도 불구하고 수동 모니터링을 통해 관찰 기간 동안 공개 가능한 데이터의 거의 완전한 커버리지 달성됨.
• 데이터셋은 시간적, 주제적으로 매우 높은 관련성을 보이며, 주요 선거 일정과 일치하여 정치 논의의 종단적 변화 분석이 가능함.
• 데이터셋은 https://github.com/sinking8/usc-x-24-us-election 에서 공개 가능하며, 선거 주기 전반에 걸쳐 지속적인 업데이트가 계획되어 있어 연속적인 연구를 지원함.