[논문 리뷰] Still out there: Modeling and Identifying Russian Troll Accounts on Twitter

Jane Im, Eshwar Chandrasekharan외 7명|arXiv (Cornell University)|2019. 01. 31.

Misinformation and Its Impacts참고 문헌 32인용 수 25

한 줄 요약

이 논문은 행동, 언어적 특성 및 프로필 정보를 활용해 트위터에서 러시아 트롤 계정을 식별하는 기계학습 모델을 개발하였으며, 교차검증에서 정밀도 78.5%와 AUC 98.9%를 달성하였다. 모델 분석 결과, 2016년 선거 이후에도 상위 저널리스트를 대상으로 한 언급 중 약 2.6%가 여전히 활성 러시아 트롤에 의해 점령되어 있음을 확인하여, 지속적인 간섭이 이루어지고 있음을 시사한다.

ABSTRACT

There is evidence that Russia's Internet Research Agency attempted to interfere with the 2016 U.S. election by running fake accounts on Twitter - often referred to as "Russian trolls". In this work, we: 1) develop machine learning models that predict whether a Twitter account is a Russian troll within a set of 170K control accounts; and, 2) demonstrate that it is possible to use this model to find active accounts on Twitter still likely acting on behalf of the Russian state. Using both behavioral and linguistic features, we show that it is possible to distinguish between a troll and a non-troll with a precision of 78.5% and an AUC of 98.9%, under cross-validation. Applying the model to out-of-sample accounts still active today, we find that up to 2.6% of top journalists' mentions are occupied by Russian trolls. These findings imply that the Russian trolls are very likely still active today. Additional analysis shows that they are not merely software-controlled bots, and manage their online identities in various complex ways. Finally, we argue that if it is possible to discover these accounts using externally - accessible data, then the platforms - with access to a variety of private internal signals - should succeed at similar or better rates.

연구 동기 및 목표

• 공개된 데이터를 활용해 러시아 트롤 계정과 비트롤 계정을 구분할 수 있는 기계학습 모델을 개발하는 것.
• 2016년 기준 트롤 데이터로 학습된 모델이 현재 활성화된 트위터 내 러시아 트롤 계정을 탐지할 수 있는지 테스트하는 것.
• 자동화된 분류와 인간 검증을 통해 모델의 효과성을 평가하는 것.
• 활동 중인 러시아 트롤 계정이 사용하는 신원 관리 및 행동 전략을 이해하는 것.
• 소셜미디어 플랫폼이 내부 신호에 액세스할 수 있다면, 외부 연구자보다 더 효과적으로 이러한 계정을 탐지하고 비활성화할 수 있어야 한다는 주장을 펼치는 것.

제안 방법

• 17만 개의 제어 계정과 2,200개의 알려진 러시아 트롤 계정 데이터셋을 기반으로 로지스틱 회귀 모델을 학습함.
• 언어 패턴(기능어 사용, 언어 분포), 행동 지표(트윗 및 재트윗 빈도), 프로필 메타데이터(자기소개, 프로필 사진, 커버 사진) 등의 특징을 추출함.
• 최근 2018년 말에 고위 인사들을 언급한 계정을 대상으로, 학습된 모델을 검증용 데이터에 적용함.
• 모델 예측 결과를 검증하기 위해 3명의 평가자가 참여한 인간 평가를 실시함. 평가 항목은 프로필-자기소개 일치성, 프로필 사진 진위성, 트윗 내용의 공격성 또는 정치적 집중 여부임.
• Botometer를 활용해 경고된 계정이 주로 자동화된 봇인지 평가하였으며, 결과를 모델 예측과 비교함.
• 경고된 계정에서 관찰된 신원 위장 전략(가짜 자기소개, 재사용된 프로필 사진, 고빈도 정치 트윗 등)을 개방형 코드화 방식으로 분석함.

실험 결과

연구 질문

• RQ1 2016년 기준 러시아 트롤 계정 데이터로 학습된 기계학습 모델이 트위터에서 현재 활성화된 러시아 트롤 계정을 성공적으로 식별할 수 있는가?
• RQ2 기존 트롤의 행동 및 언어 패턴이 2019년 기준 활성 계정으로 일반화되는 정도는 어느 정도인가?
• RQ3 모델이 경고한 계정들은 주로 자동화된 봇인가, 아니면 복잡한 신원 관리 전략을 사용하는가?
• RQ4 트위터에서 고도의 인지도를 가진 저널리스트를 대상으로 한 언급 중 얼마나 많은 비율이 여전히 의심스러운 러시아 트롤 계정에 의해 타겟팅되고 있는가?
• RQ5 외부 연구자들이 공개 데이터만으로도 활성 트롤 계정을 탐지할 수 있으며, 이는 플랫폼 수준의 탐지 능력에 대해 어떤 시사점을 갖는가?

주요 결과

• 로지스틱 회귀 모델은 교차검증에서 정밀도 78.5%와 AUC 98.9%를 기록하여 트롤 계정과 비트롤 계정을 효과적으로 구분함을 입증함.
• 2018년 말에 상위 저널리스트를 언급한 계정에 적용한 결과, 모델이 3.7%를 통계적으로 러시아 트롤로 분류하였으며, 인간 평가자들이 이 중 약 70%를 매우 의심스럽다고 확인함.
• 연구 결과, 러시아 트롤이 고위 저널리스트를 향한 언급의 약 2.6%를 점령하고 있다고 추정됨. 이는 지속적인 활동을 시사함.
• 모델이 경고한 계정들은 Botometer에 의해 주로 봇으로 식별되지 않아, 단순한 소프트웨어 봇이 아니라 복잡한 신원 관리 전략을 사용하고 있음을 시사함.
• 많은 경고 계정들이 자기소개와 트윗 내용 간 불일치를 보였으며, 해외의 관련 없는 자료(예: 아이슬란드의 레스토랑)에서 가져온 프로필 사진을 사용했고, 정치적 주제에 집중한 비정상적으로 높은 재트윗 빈도를 보였음.
• 이러한 결과는 소셜미디어 플랫폼—내부 신호에 액세스할 수 있는 기관—이 외부 연구자들과 유사하거나 더 높은 비율로 이러한 계정을 탐지하고 비활성화할 수 있어야 한다는 시사점을 갖는다.