[论文解读] Identifying Coordinated Accounts in Disinformation Campaigns

Karishma Sharma, Emilio Ferrara+1 more|arXiv (Cornell University)|Aug 25, 2020

Misinformation and Its Impacts参考文献 30被引用 9

一句话总结

本文提出AMDNet，一种注意力混合密度网络，通过时间点过程建模活动模式与互动关系，检测协同性虚假信息账号。该方法通过学习潜在行为模式，无需事先假设同步行为或已知恶意账号，即可识别协同群体，展现出协同行为者之间的显著影响力，并在2016年美国大选和新冠疫情的Twitter数据中成功发现此类协同传播活动。

ABSTRACT

Disinformation campaigns on social media, involving coordinated activities from malicious accounts towards manipulating public opinion, have become increasingly prevalent. There has been growing evidence of social media abuse towards influencing politics and social issues in other countries, raising numerous concerns. The identification and prevention of coordinated campaigns has become critical to tackling disinformation at its source. Existing approaches to detect malicious campaigns make strict assumptions about coordinated behaviours, such as malicious accounts perform synchronized actions or share features assumed to be indicative of coordination. Others require part of the malicious accounts in the campaign to be revealed in order to detect the rest. Such assumptions significantly limit the effectiveness of existing approaches. In contrast, we propose AMDN (Attentive Mixture Density Network) to automatically uncover coordinated group behaviours from account activities and interactions between accounts, based on temporal point processes. Furthermore, we leverage the learned model to understand and explain the behaviours of coordinated accounts in disinformation campaigns. We find that the average influence between coordinated accounts is the highest, whereas these accounts are not much influenced by regular accounts. We evaluate the effectiveness of the proposed method on Twitter data related to Russian interference in US Elections. Additionally, we identify disinformation campaigns in COVID-19 data collected from Twitter, and provide the first evidence and analysis of existence of coordinated disinformation campaigns in the ongoing pandemic.

研究动机与目标

• 解决现有虚假信息检测方法对行为同步性严格假设或依赖恶意账号先验知识的局限性。
• 开发一种能够自动识别社交媒体中协同群体行为的模型，无需事先标注或强行为约束。
• 理解并解释虚假信息传播活动中协同账号与普通账号之间的互动动态。
• 在真实世界数据集中检测并分析协同虚假信息传播活动，包括与美国大选及新冠疫情相关的数据。

提出的方法

• AMDNet结合时间点过程，对账号活动与互动的时间与序列进行建模。
• 采用混合密度网络，捕捉跨账号行为模式的复杂多模态分布。
• 利用注意力机制对不同互动进行加权，识别协同行为的关键特征模式。
• 模型在无需标注恶意账号或假设同步发布的情况下，学习账号行为的潜在表征。
• 通过检测活动序列中相互影响与时间对齐的模式，推断群体层面的协同行为。
• 该框架通过突出显示对协同检测贡献最大的互动与时间模式，实现可解释性。

实验结果

研究问题

• RQ1 如何在不假设行为同步性或无需标注恶意账号的前提下，检测协同虚假信息传播活动？
• RQ2 在虚假信息传播活动中，协同账号与普通用户之间存在哪些可区分的互动模式？
• RQ3 协同账号之间的相互影响程度，相较于其对普通账号的影响，有多大差异？
• RQ4 所提出的方法是否能在超越政治选举的真实世界数据集中检测到协同虚假信息传播活动？
• RQ5 哪些行为与互动特征定义了虚假信息网络中的协同行为？

主要发现

• 协同账号之间的平均影响力显著高于协同账号与普通账号之间的影响力。
• 协同账号表现出强烈的相互影响，而对普通账号的影响则微乎其微。
• 该模型成功识别出2016年美国大选相关Twitter数据中的协同虚假信息传播活动。
• AMDNet首次提供了关于新冠疫情相关Twitter数据中协同虚假信息传播活动的实证证据与分析。
• 该方法在无需依赖同步性假设或先验标注的前提下，优于现有方法，能够有效检测协同行为。
• AMDNet中的注意力机制能有效突出区分协同与非协同行为的关键互动模式。