[논문 리뷰] Detecting Propagators of Disinformation on Twitter Using Quantitative Discursive Analysis

Mark M. Bailey|arXiv (Cornell University)|2022. 10. 11.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 2016년 미국 대선 기간 동안 티커에서 러시아 정보전 봇을 탐지하기 위해 중심성 공진 분석과 클로셋-뉴먼-무어 공동체 탐지 기법을 사용한 정량적 논의 분석 방법을 제안한다. 이 방법은 높은 민감도를 보이며, 보급자 간 강한 논의 유사성을 보이며 Matthews 상관계수(MCC) 0.9070을 달성한다. 그러나 제어 집합 내 비봇 사용자 간의 논의 이질성으로 인해 비봇을 식별하는 데 어려움을 겪는다.

ABSTRACT

Efforts by foreign actors to influence public opinion have gained considerable attention because of their potential to impact democratic elections. Thus, the ability to identify and counter sources of disinformation is increasingly becoming a top priority for government entities in order to protect the integrity of democratic processes. This study presents a method of identifying Russian disinformation bots on Twitter using centering resonance analysis and Clauset-Newman-Moore community detection. The data reflect a significant degree of discursive dissimilarity between known Russian disinformation bots and a control set of Twitter users during the timeframe of the 2016 U.S. Presidential Election. The data also demonstrate statistically significant classification capabilities (MCC = 0.9070) based on community clustering. The prediction algorithm is very effective at identifying true positives (bots), but is not able to resolve true negatives (non-bots) because of the lack of discursive similarity between control users. This leads to a highly sensitive means of identifying propagators of disinformation with a high degree of discursive similarity on Twitter, with implications for limiting the spread of disinformation that could impact democratic processes.

연구 동기 및 목표

• 2016년 미국 대선 기간 동안 티커에서 정보전을 보급하는 사용자를 특정하기 위해.
• 논의 패턴을 활용해 정보전 봇과 정상 사용자를 구분하는 데 도전하는 것.
• 언어적 및 네트워크 구조를 활용해 조율된 정보전 캠페인을 탐지할 수 있는 방법을 개발하기 위해.
• 정량적 논의 분석이 높은 민감도로 봇 행동을 분류하는 데 효과적인지 평가하기 위해.

제안 방법

• 사용자 생성 콘텐츠의 논의 일관성과 초점을 모델링하기 위해 중심성 공진 분석을 적용한다.
• 유사한 논의 패턴을 가진 사용자 집단을 식별하기 위해 클로셋-뉴먼-무어 공동체 탐지 기법을 사용한다.
• 기타 러시아 정보전 봇과 비봇 사용자 제어 집합 간의 논의 유사성을 정량화한다.
• 사용자 간 논의 궤적을 비교하여 조율된 봇 활동을 시사하는 높은 유사성의 공동체를 탐지한다.
• 공동체 클러스터를 기반으로 분류 모델을 훈련시어 논의 구조에 따라 봇 상태를 예측한다.
• 언어적 일관성과 네트워크 클러스터링의 통계적 분석에 의존하여 정보전 보급자를 규명한다.

실험 결과

연구 질문

• RQ1 2016년 미국 대선 기간 동안 티커에서 러시아 정보전 봇과 비봇 사용자 간의 논의 유사성 패턴이 효과적으로 구분될 수 있는가?
• RQ2 기타 정보전 봇이 비봇 사용자 제어 집합과 비교해 통계적으로 유의미한 논의 일관성을 보이는가?
• RQ3 논의 패턴 기반의 공동체 클러스터링이 봇 계정을 분류하는 데 얼마나 효과적인가?
• RQ4 모델이 참 양성(true positives)에 대해 높은 민감도를 보였지만, 제어 집합 내 참 음성(true negatives)을 해결하지 못하는 이유는 무엇인가?
• RQ5 이러한 발견은 조율된 정보전 캠페인을 탐지하고 억제하는 데 어떤 함의를 지니는가?

주요 결과

• 이 방법은 Matthews 상관계수(MCC) 0.9070을 달성하여 강력한 분류 성능을 보였다.
• 기타 러시아 정보전 봇과 비봇 사용자 제어 집합 간에 뚜렷한 논의 이질성이 관찰되었다.
• 봇 클러스터 내에서 강한 논의 유사성로 인해 실제 봇(참 양성)을 식별하는 데 높은 민감도를 보였다.
• 참 음성 해결 불가능성은 제어 사용자 간 논의 유사성이 부족하기 때문이며, 이는 음성 분류를 제한한다.
• 결과적으로 조율된 봇 네트워크 내 논의 일관성이 정보전 보급자를 매우 효과적으로 탐지할 수 있음을 시사한다.
• 연구는 정량적 논의 분석이 높은 유사성 클러스터 내에서 극히 낮은 거짓 음성(false negatives)을 유발할 수 있음을 확인하며, 정보전 확산자를 식별하는 강력한 도구가 될 수 있음을 입증한다.