[논문 리뷰] Identifying Coordinated Accounts in Disinformation Campaigns

Karishma Sharma, Emilio Ferrara외 1명|arXiv (Cornell University)|2020. 08. 25.

Misinformation and Its Impacts참고 문헌 30인용 수 9

한 줄 요약

이 논문은 시간적 점과정을 사용하여 활동 패턴과 상호작용을 모델링함으로써 공조된 위성정보 계정을 탐지하는 약점 없는 혼합 밀도 네트워크인 AMDN을 제안한다. 이는 동기화나 악성 계정의 레이블이 없는 조건에서도 잠재적인 행동 패턴을 학습함으로써 공조 그룹을 식별하며, 공조 행위자들 사이에서 높은 影響력을 보이며, 미국 선거 및 코로나19 관련 트위터 데이터에서 이러한 캠페인을 드러낸다.

ABSTRACT

Disinformation campaigns on social media, involving coordinated activities from malicious accounts towards manipulating public opinion, have become increasingly prevalent. There has been growing evidence of social media abuse towards influencing politics and social issues in other countries, raising numerous concerns. The identification and prevention of coordinated campaigns has become critical to tackling disinformation at its source. Existing approaches to detect malicious campaigns make strict assumptions about coordinated behaviours, such as malicious accounts perform synchronized actions or share features assumed to be indicative of coordination. Others require part of the malicious accounts in the campaign to be revealed in order to detect the rest. Such assumptions significantly limit the effectiveness of existing approaches. In contrast, we propose AMDN (Attentive Mixture Density Network) to automatically uncover coordinated group behaviours from account activities and interactions between accounts, based on temporal point processes. Furthermore, we leverage the learned model to understand and explain the behaviours of coordinated accounts in disinformation campaigns. We find that the average influence between coordinated accounts is the highest, whereas these accounts are not much influenced by regular accounts. We evaluate the effectiveness of the proposed method on Twitter data related to Russian interference in US Elections. Additionally, we identify disinformation campaigns in COVID-19 data collected from Twitter, and provide the first evidence and analysis of existence of coordinated disinformation campaigns in the ongoing pandemic.

연구 동기 및 목표

• 엄격한 동기화 행동에 대한 가정이나 악성 계정에 대한 사전 지식이 필요한 기존의 위성정보 탐지 방법의 한계를 해결하기 위해.
• 레이블이 없거나 엄격한 행동 제약 조건이 없는 조건에서도 사회 미디어에서 공조된 행동 패턴을 자동으로 드러낼 수 있는 모델을 개발하기 위해.
• 위성정보 캠페인에서 공조 계정과 일반 계정 간의 상호작용 역학을 이해하고 설명하기 위해.
• 실제 데이터셋, 특히 미국 선거 및 코로나19 패닉과 관련된 데이터에서 공조된 위성정보 캠페인을 탐지하고 분석하기 위해.

제안 방법

• AMD는 계정 활동과 상호작용의 시기와 순서를 모델링하기 위해 시간적 점과정을 통합한다.
• 계정 간 행동 패턴의 복잡하고 다중 모달 분포를 포착하기 위해 혼합 밀도 네트워크를 사용한다.
• 다양한 상호작용의 영향을 가중치로 설정하기 위해 주의 메커니즘을 활용하여 공조의 핵심 행동 서명을 식별한다.
• 레이블이 부여된 악성 계정이 없거나 동기화된 게시 행동을 가정하지 않더라도 계정 행동의 잠재적 표현을 학습한다.
• 활동 시퀀스에서 상호 영향력과 시간적 일치를 탐지함으로써 집단 수준의 공조를 추론한다.
• 특정 상호작용과 시간적 패턴이 공조 탐지에 가장 기여하는지 강조함으로써 설명 가능성 기능을 제공한다.

실험 결과

연구 질문

• RQ1 동기화된 행동을 가정하거나 악성 계정의 레이블이 필요한 조건 없이 어떻게 공조된 위성정보 캠페인을 탐지할 수 있는가?
• RQ2 위성정보 캠페인에서 공조 계정과 일반 사용자 간의 구분되는 상호작용 패턴은 무엇인가?
• RQ3 공조 계정 간의 영향력은 일반 계정에 비해 어느 정도 높은가?
• RQ4 제안된 방법은 정치 선거 외의 실제 데이터셋에서도 공조된 위성정보 캠페인을 탐지할 수 있는가?
• RQ5 위성정보 네트워크에서 공조 행동을 정의하는 행동적 특성과 상호작용 특성은 무엇인가?

주요 결과

• 공조 계정 간 평균 영향력은 공조 계정과 일반 계정 간의 영향력보다 유의미하게 높다.
• 공조 계정은 상호 영향력이 강하며, 일반 계정으로부터의 영향력은 최소한이다.
• 모델은 2016년 미국 선거와 관련된 트위터 데이터에서 공조된 위성정보 캠페인을 성공적으로 식별했다.
• AMDN은 코로나19 패닉과 관련된 트위터 데이터에서 공조된 위성정보 캠페인에 대한 첫 번째 증거와 분석를 제공한다.
• 동기화에 대한 가정이나 사전 레이블링에 의존하지 않기 때문에, 이전의 접근 방식보다 성능이 뛰어나다.
• AMDN의 주의 메커니즘은 공조된 행동과 비공조된 행동을 구분하는 데 효과적으로 핵심 상호작용 패턴을 강조한다.