[논문 리뷰] Who Let The Trolls Out? Towards Understanding State-Sponsored Trolls

Savvas Zannettou, Tristan Caulfield외 4명|arXiv (Cornell University)|2018. 11. 07.

Misinformation and Its Impacts참고 문헌 30인용 수 46

한 줄 요약

본 논문은 Twitter와 Reddit에서 러시아 및 이란 국영 트롤의 10 million posts를 분석하고, Hawkes Processes와 word embeddings를 사용하여 그들의 행동, 캠페인, 언어, 시기 및 Twitter, Reddit, 4chan, Gab에 대한 영향력을 검토한다.

ABSTRACT

Over the past few years, extensive anecdotal evidence emerged that suggests the involvement of state-sponsored actors (or “trolls”) in online political campaigns with the goal to manipulate public opinion and sow discord. Recently, Twitter and Reddit released ground truth data about Russian and Iranian state-sponsored actors that were active on their platforms. In this paper, we analyze these ground truth datasets across several axes to understand how these actors operate, how they evolve over time, who are their targets, how their strategies changed over time, and what is their influence to the Web’s information ecosystem. Among other things we find: a) campaigns of these actors were influenced by real-world events; b) these actors were employing different tactics and had different targets over time, thus their automated detection is not straightforward; and c) Russian trolls were clearly pro-Trump, whereas Iranian trolls were anti-Trump. Finally, using Hawkes Processes, we quantified the influence that these actors had to four Web communities: Reddit, Twitter, 4chan’s Politically Incorrect board (/pol/), and Gab, finding that Russian trolls were more influential than Iranians with the exception of /pol/

연구 동기 및 목표

• Twitter와 Reddit에서 러시아(Russian) 및 이란(Iranian) 국영 트롤 계정을ground-truth로 특징지으시오.
• 트롤 캠페인이 시간에 따라 어떻게 진화하고 실제 세계 이벤트에 어떻게 반응하는지 살펴보시오.
• 다양한 Web 커뮤니티에 대한 이러한 트롤의 영향을 통계적 모델링을 사용하여 정량화하시오.

제안 방법

• 트롤 계정이 Twitter, Reddit, 4chan (/pol/), 및 Gab에서 URL 확산에 미치는 영향을 모델링하기 위해 Hawkes Processes를 사용하시오.
• 의 ideology와 맥락 차이를 식별하기 위해 워드 임베딩(word2vec)을 적용하시오.
• 계정 생성 시각, 프로필 설명, 팔로워/친구 분포, 언어/클라이언트 사용을 분석하여 페르소나 및 캠페인 전략을 이해하시오.
• 플랫폼, 언어 및 시간에 걸쳐 러시아와 이란 트롤의 행동 차이를 대조하시오.

실험 결과

연구 질문

• RQ1 러시아와 이란 간의 국영 트롤 작전은 시간과 플랫폼에 따라 어떻게 다릅니까?
• RQ2 러시아와 이란 트롤 캠페인을 특징짓는 콘텐츠 및 언어 패턴은 무엇입니까?
• RQ3 실제 세계 이벤트가 이 국영 트롤 캠페인에 어느 정도 영향을 미칩니까?
• RQ4 이 트롤들이 Twitter, Reddit, 4chan, Gab에서 콘텐츠 확산에 얼마나 영향을 줍니다?

주요 결과

• 러시아 트롤은 Twitter에서 URL 확산에 대해 매우 영향력 있고 효율적였으며 Reddit와 Gab에서도 이란 트롤보다 영향력이 더 큰 편이었으나, /pol/에서는 이란 측이 더 영향력이 컸습니다.
• 단어 임베딩은 이념적 차이를 드러냅니다: 러시아 트롤은 트럼프에 대해 찬성하는 경향이 있었고 이란 트롤은 트럼프에 반대하는 경향이 있었습니다.
• 이란 캠페인은 실제 세계 이벤트(예: 프랑스 및 사우디아라비아 관련 이벤트)와 일치하는 경향을 보여 이벤트 기반 활동을 시사합니다.
• 트롤의 행동은 시간에 따라 달라졌으며 언어 사용 및 Twitter 클라이언트 선택에서의 변화가 나타나 캠페인 전략이 진화하고 있음을 시사합니다.
• 플랫폼에 따라 트롤의 주제 및 토론이 달랐습니다(예: Reddit의 러시아 트롤은 Twitter보다 암호화폐를 더 강조했습니다).
• 연구는 재현성과 추가 연구를 지원하기 위해 데이터 및 코드를 공개했습니다.