[논문 리뷰] TexTrolls: Identifying Russian Trolls on Twitter from a Textual Perspective

Bilal Ghanem, Davide Buscaldi외 1명|arXiv (Cornell University)|2019. 10. 03.

Misinformation and Its Impacts인용 수 11

한 줄 요약

이 논문은 트위터에서 러시아 인터넷 연구 기관(IRL)의 트롤을 텍스트 기반 기계학습 모델을 통해 탐지하기 위해 텍스트 콘텐츠에서 파생된 주제적 및 프로파일링 특징을 제안한다. 비지도 주제 모델링과 자연어 추론(NLI) 특징을 적용함으로써, 모델은 매크로 F1 스코어 0.94를 달성하여 언어 스타일과 주제 패턴이 단지 텍스트적 단서로부터도 조정된 가짜 뉴스 캠페인을 효과적으로 식별하는 데 매우 유용하다는 것을 보여준다.

ABSTRACT

The online new emerging suspicious users, that usually are called trolls, are one of the main sources of hate, fake, and deceptive online messages. Some agendas are utilizing these harmful users to spread incitement tweets, and as a consequence, the audience get deceived. The challenge in detecting such accounts is that they conceal their identities which make them disguised in social media, adding more difficulty to identify them using just their social network information. Therefore, in this paper, we propose a text-based approach to detect the online trolls such as those that were discovered during the US 2016 presidential elections. Our approach is mainly based on textual features which utilize thematic information, and profiling features to identify the accounts from their way of writing tweets. We deduced the thematic information in a unsupervised way and we show that coupling them with the textual features enhanced the performance of the proposed model. In addition, we find that the proposed profiling features perform the best comparing to the textual features.

연구 동기 및 목표

• 소셜 네트워크 메타데이터에 의존하지 않고도 텍스트적 특징만을 사용하여 트위터에서 러시아 트롤을 탐지하는 것.
• 비지도 주제 모델링을 통해 추출한 주제 정보가 탐지 성능을 향상시키는지 조사하는 것.
• IRA 트롤이 공공 여론을 조작하기 위해 정서적 언어와 언어 스타일을 어떻게 활용하는지 분석하는 것.
• 감성, 진술 강도, 아이러니 표시자와 같은 프로파일링 특징이 트롤 계정과 정상 사용자를 구분하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 저자는 트윗에서 잠재적 이데올로기적 주제를 포착하기 위해 비지도 LDA 기반 주제 모델링을 적용하여 주제적 특징을 추출한다.
• 감성(예: 분노, 공포), 진술 강도, 언어적 표시자(예: 회피, 확신, 否정) 등 포괄적인 프로파일링 특징 세트를 추출한다.
• 자연어 추론(NLI) 특징을 사용하여 모순 및 함의와 같은 논리적·논술적 구조를 모델링함으로써 조작적인 글쓰기 패tern을 탐지한다.
• 2,023개의 IRA 트롤 계정과 94,643개의 정상 계정으로 구성된 데이터셋을 사용하여 주제적 특징과 프로파일링 특징의 조합을 기반으로 기계학습 분류기 모델을 훈련시킨다.
• 성능 평가에 대해 교차 검증을 사용하며, 두 클래스 간 균형 잡힌 탐지 능력을 평가하기 위해 매크로 F1을 주요 지표로 삼는다.
• 가짜 양성 사례는 수작업으로 분석되어, 링크만 포함된 게시물, 모호한 질문, 삭제된 링크의 내용과 같은 공통적인 실패 원인을 파악한다.

실험 결과

연구 질문

• RQ1 RQ1: 비지도 주제 모델링을 통해 추출한 주제 정보의 포함 여부가 IRA 트롤 탐지 성능을 향상시키는가?
• RQ2 RQ2: 네트워크나 메타데이터 신호에 의존하지 않고도 텍스트적 특징만으로 IRA 트롤을 효과적으로 식별할 수 있는가?
• RQ3 RQ3: IRA 트롤은 정서적 언어와 언어 전략을 어떻게 활용하여 여론에 영향을 주는가?

주요 결과

• 제안된 모델은 교차 검증에서 매크로 F1 스코어 0.94를 달성하여 IRA 트롤과 정상 사용자를 효과적으로 구분하는 데 높은 성능을 보였다.
• 비지도 주제 모델링을 통해 추출한 주제적 특징은 표면적 텍스트 특징과 조합되었을 때 모델 성능을 크게 향상시켰다.
• 감성, 진술, 확신과 관련된 프로파일링 특징은 주제적 특징만으로는 성능이 떨어지지만, 트롤 계정을 식별하는 데 더 뛰어났다.
• 모델은 아이러니와 조작적인 논술 전략을 탐지하는 데 뛰어난 성능을 보였으며, 이는 IRA 트롤이 자주 사용하는 전략이었다.
• 가짜 양성은 주로 링크만 포함된 트윗, 모호한 질문, 삭제된 링크의 내용에서 기인했으며, 향후 탐지 파이프라인에서 링크 콘텐츠 분석이 필요하다는 점을 시사한다.
• 수작업 분석을 통해 아이러니가 트롤에 의해 자주 사용되는 것으로 밝혀져, 향후 탐지 시스템에 아이러니 탐지 기능을 추가하는 것이 유의미할 수 있음을 시사한다.