[논문 리뷰] Perils and Challenges of Social Media and Election Manipulation Analysis: The 2018 US Midterms

Ashok Deb, Luca Luceri외 2명|arXiv (Cornell University)|2019. 01. 31.

Misinformation and Its Impacts참고 문헌 49인용 수 12

한 줄 요약

이 연구는 2018년 미국 중간 선거 기간 동안 트위터 데이터를 실시간 감시 센서로 활용해 선거 조작을 탐지할 수 있는지의 가능성을 조사한다. #ivoted 트윗과 일반적인 선거 관련 콘텐츠를 분석함으로써, 인구, 위치, 봇, 정치적 이념 추론 오류 등 심각한 데이터 편향을 밝혀내며, 이는 유권자 사기나 투표 차단에 대한 잘못된 결론을 이끌 수 있음을 시사한다—즉, 선거 감시를 위해 소셜 미디어에 의존할 경우 큰 도전 과제가 있음을 보여준다.

ABSTRACT

One of the hallmarks of a free and fair society is the ability to conduct a peaceful and seamless transfer of power from one leader to another. Democratically, this is measured in a citizen population's trust in the electoral system of choosing a representative government. In view of the well documented issues of the 2016 US Presidential election, we conducted an in-depth analysis of the 2018 US Midterm elections looking specifically for voter fraud or suppression. The Midterm election occurs in the middle of a 4 year presidential term. For the 2018 midterms, 35 senators and all the 435 seats in the House of Representatives were up for re-election, thus, every congressional district and practically every state had a federal election. In order to collect election related tweets, we analyzed Twitter during the month prior to, and the two weeks following, the November 6, 2018 election day. In a targeted analysis to detect statistical anomalies or election interference, we identified several biases that can lead to wrong conclusions. Specifically, we looked for divergence between actual voting outcomes and instances of the #ivoted hashtag on the election day. This analysis highlighted three states of concern: New York, California, and Texas. We repeated our analysis discarding malicious accounts, such as social bots. Upon further inspection and against a backdrop of collected general election-related tweets, we identified some confounding factors, such as population bias, or bot and political ideology inference, that can lead to false conclusions. We conclude by providing an in-depth discussion of the perils and challenges of using social media data to explore questions about election manipulation.

연구 동기 및 목표

• 2018년 미국 중간 선거 기간 동안 트위터 데이터가 실제 투표 행동의 신뢰할 수 있는 대체 지표가 될 수 있는지 평가하기.
• 인구 분포, 봇 활동, 정치적 이념 추론 등의 데이터 편향이 소셜 미디어를 통한 선거 분석에 어떤 영향을 미치는지 조사하기.
• #ivoted 트윗 수와 공식 투표 수를 각 주별로 비교함으로써, 소셜 미디어 기반 선거 감시의 일관성과 신뢰성 평가하기.
• 재트윗 포함 여부 등 데이터 정제 선택 사항에 민감한 방법론적 함정(예: 투표 차단 또는 사기 가능성에 대한 오해를 초래할 수 있음)을 특정하기.
• 특히 선거 무결성 감시 분야에서 사회적 선량을 위한 소셜 미디어 데이터 활용에 있어 향후 연구에 경계의 통찰 제공하기.

제안 방법

• 2018년 11월 6일 선거일 기준으로 1개월 전부터 2주 후까지의 트위터 데이터를 수집하며, 선거 관련 해시태그와 키워드에 집중했다.
• 투표 당일의 #ivoted 해시태그를 실제 투표 행동의 대체 지표로 사용하여, 50개 주 전역에서 공식 투표 수와 비교했다.
• 특히 이상치가 나타난 주에서 분석이 왜곡되지 않았는지 확인하기 위해 봇 탐지 기법을 적용했다.
• 사용자가 공유한 링크를 기반으로 사용자 레이블링을 수행하고, 재트윗 네트워크를 통해 레이블을 전파함으로써 정치적 이념 추론을 수행했다.
• 외부 데이터 소스를 활용한 비교 분석: 공식 투표 수와 정치적 이념 검증을 위한 갈라프 풀링 데이터.
• 특히 텍사스와 같은 이상치가 높은 주에서 재트윗 포함 여부나 봇 필터링 데이터 처리 선택 사항에 따른 결과 민감도 평가하기.

실험 결과

연구 질문

• RQ1 투표 당일 #ivoted 트윗 수가 미국 주 전역에서 실제 투표율을 신뢰할 수 있는 대체 지표로 얼마나 유용한가?
• RQ2 인구 분포, 위치 오지정, 봇 활동 등의 데이터 편향이 소셜 미디어 기반 선거 감시의 타당성에 어떤 영향을 미치는가?
• RQ3 재트윗 포함 여부, 봇 제거 등의 방법론적 선택 사항이 소셜 미디어 활동의 통계적 이상 탐지와 실제 선거 결과 간의 일치도에 어떤 영향을 미치는가?
• RQ4 소셜 미디어에서 유도된 정치적 이념은 외부 풀링 데이터와 얼마나 일치하는가? 이는 소셜 미디어를 통한 여론 평가에 어떤 함의를 갖는가?
• RQ5 어느 주에서 #ivoted 활동과 실제 투표 수 간의 괴리가 발생하는가? 이러한 이상 현상의 배경에 어떤 혼동 요인들이 존재하는가?

주요 결과

• 50개 주 중 47개 주에서 #ivoted 트윗 수와 공식 투표 수 간에 강한 상관관계를 보였으며, 이는 소셜 미디어가 감시 도구로써의 잠재력을 보여주는 초반 신호였다.
• 대부분의 주에서 높은 상관관계가 있었음에도 불구하고, 뉴욕, 캘리포니아, 텍사스 3개 주에서 #ivoted 활동과 실제 투표 수 간에 명백한 괴리가 나타나 조작 가능성에 대한 초반 우려를 제기했다.
• 재트윗 제거가 텍사스에서 결과에 상당한 영향을 미쳐, 데이터 처리 선택 사항이 이상치를 생성하거나 숨길 수 있음을 시사하며, 방법론적 결정에 대한 민감도를 강조했다.
• 소셜 미디어 콘텐츠에서 추론된 정치적 이념이 갈라프 풀링 데이터와 상당한 괴리가 있었으며, 이는 현재 추론 기법의 한계와 잠재적 인구 편향을 시사한다.
• 봇 계정을 필터링한 후에도 이상 주들에서 유권자 사기나 투표 차단에 대한 체계적 증거를 발견하지 못했으며, 이는 이상 현상이 선거 간섭이 아닌 데이터 편향 때문일 가능성이 높음을 시사한다.
• 연구는 소셜 미디어 데이터가 데이터 수집, 위치, 확인 한계 등 다양한 편향을 내재하고 있으며, 이는 잘못된 결론을 이끌 수 있음을 강조하며, 선거 무결성 분석에 이러한 데이터를 사용할 경우 경계가 필요하다고 결론 내린다.