[논문 리뷰] Effects of Social Bots in the Iran-Debate on Twitter

Andree Thieltges, Orestis Papakyriakopoulos외 2명|arXiv (Cornell University)|2018. 05. 25.

Misinformation and Its Impacts참고 문헌 16인용 수 10

한 줄 요약

이 연구는 2018년 이ран 시위와 관련된 약 900,000건의 트위터 트윗을 분석하고 행동 및 텍스트 마이닝 기법을 통해 사회적 봇을 식별한다. 연구 결과 봇이 생성한 트윗은 인간이 생성한 트윗보다 유의미하게 더 부정적인 정서를 보이며(평균 -0.094), 인간 트윗의 평균(-0.049)보다 유의미한 통계적 유의성(p-value = 0.0)을 보이며, 이는 논의의 정서적 분위기에 영향을 미친다는 것을 시사한다.

ABSTRACT

2018 started with massive protests in Iran, bringing back the impressions of the so called "Arab Spring" and it's revolutionary impact for the Maghreb states, Syria and Egypt. Many reports and scientific examinations considered online social networks (OSN's) such as Twitter or Facebook to play a critical role in the opinion making of people behind those protests. Beside that, there is also evidence for directed manipulation of opinion with the help of social bots and fake accounts. So, it is obvious to ask, if there is an attempt to manipulate the opinion-making process related to the Iranian protest in OSN by employing social bots, and how such manipulations will affect the discourse as a whole. Based on a sample of ca. 900,000 Tweets relating to the topic "Iran" we show, that there are Twitter profiles, that have to be considered as social bot accounts. By using text mining methods, we show that these social bots are responsible for negative sentiment in the debate. Thereby, we would like to illustrate a detectable effect of social bots on political discussions on Twitter.

연구 동기 및 목표

• 2018년 이ран 시위 기간 동안 트위터에서 사회적 봇이 정치적 논의에 영향을 미쳤는지 조사하기 위해.
• 트윗 데이터의 행동적 및 언어적 분석을 통해 봇 계정을 탐지하기 위해.
• 정치적 논의에서 봇의 영향을 정량화하기 위해 정서 및 주제 분포에 영향을 분석하기 위해.
• 봇 활동이 온라인 정치적 논의의 정서적 분위기를 왜곡하는지 평가하기 위해.
• 단순한 탐지 초과의 경험적 증거를 제공하고, 행동 및 정서적 차이에 중점을 두기 위해.

제안 방법

• 트위터의 API를 사용하여 이란 시위와 관련된 약 900,000건의 트윗 샘플을 수집하였다.
• 게시 빈도, 팔로워/팔로잉 비율, 계정 연령 기반 히ュ리스틱을 조합하여 계정을 '봇 없음', '의심스러움', '봇'으로 분류하였다.
• 트윗 간 주제 분포를 비교하기 위해 백오프워즈 모델링, 워드 클라우드, 공시출현 분석과 같은 텍스트 마이닝 기법을 적용하였다.
• 긍정 및 부정 정서를 측정하기 위해 어휘 기반 접근 방식을 사용하여 정서 분석을 수행하였다.
• 봇과 인간 트윗 그룹 간 정서 분포를 비교하기 위해 코모고로프-스미르노프(Kolmogorov-Smirnov, KS) 검정을 실시하였다.
• 정서적 차이를 시각화하기 위해 경험적 누적 밀도 함수(ECDF)를 사용하였다.

실험 결과

연구 질문

• RQ1 2018년 이란 시위 기간 동안 트위터에서 사회적 봇이 정치적 논의의 정서를 결정적으로 형성하는 데 기여하는가?
• RQ2 봇이 생성한 트윗의 언어적 및 행동적 패턴은 인간 사용자와 어떻게 다를까?
• RQ3 봇과 인간 사용자의 트윗 간 정서 강도에 통계적으로 유의미한 차이가 존재하는가?
• RQ4 이란 시위 논의에서 봇은 미국 정치나 경제적 불만과 같은 특정 주제를 얼마나 강하게 확산시키는가?
• RQ5 봇 활동은 정치적 온라인 논의의 정서적 분위기에 측정 가능한 왜곡을 초래하는가?

주요 결과

• 데이터셋에서 봇이 식별되었으며, '봇'으로 분류된 트윗은 10,126건, '의심스러움'은 18,071건이었다.
• 봇 트윗의 평균 정서 점수는 -0.094였고, 인간 트윗의 평균 -0.049보다 유의미하게 더 부정적이었다(p-value = 0.0).
• 코모고로프-스미르노프 검정을 통해 봇과 인간 간 정서 분포가 통계적으로 구분됨을 확인하였다(KS-검정 값 = 0.12).
• 봇 트윗은 '트럼프'와 '#MAGA'와 같은 용어의 빈도가 높았고, 인간 트윗보다 경제적 불만에 더 집중되어 있었다.
• '여성의 권리' 주제는 봇이 아닌 계정의 트윗에서만 나타났으며, 이는 주제적 초점의 분리됨을 시사한다.
• 비록 핵심 주제(예: 이란 시위, 미국 정치인, CIA)는 유사했지만, 봇 트윗는 뚜렷한 부정적 정서적 분위기를 보이며, 부정성의 의도적 확산이 이루어졌다는 점을 시사한다.