[论文解读] Detecting Troll Behavior via Inverse Reinforcement Learning: A Case Study of Russian Trolls in the 2016 US Election

Luca Luceri, Silvia Giordano+1 more|arXiv (Cornell University)|Jan 28, 2020

Spam and Phishing Detection被引用 18

一句话总结

本文提出一种逆强化学习（IRL）方法，通过推断驱动其在线行为的潜在激励机制，检测2016年美国大选期间的俄罗斯网络水军账号。该方法仅使用行为流数据，即可在分类水军与非水军账号时达到89.1%的AUC，揭示出内容分享独立于用户反馈等显著动机模式。

ABSTRACT

Since the 2016 US Presidential election, social media abuse has been eliciting massive concern in the academic community and beyond. Preventing and limiting the malicious activity of users, such as trolls and bots, in their manipulation campaigns is of paramount importance for the integrity of democracy, public health, and more. However, the automated detection of troll accounts is an open challenge. In this work, we propose an approach based on Inverse Reinforcement Learning (IRL) to capture troll behavior and identify troll accounts. We employ IRL to infer a set of online incentives that may steer user behavior, which in turn highlights behavioral differences between troll and non-troll accounts, enabling their accurate classification. As a study case, we consider the troll accounts identified by the US Congress during the investigation of Russian meddling in the 2016 US Presidential election. We report promising results: the IRL-based approach is able to accurately detect troll accounts (AUC=89.1%). The differences in the predictive features between the two classes of accounts enables a principled understanding of the distinctive behaviors reflecting the incentives trolls and non-trolls respond to.

研究动机与目标

• 为解决社交平台上人工操作的水军账号检测这一开放性挑战，尽管机器人检测技术已取得进展，此类账号仍难以识别。
• 通过分析用户活动流与互动行为，建模驱动水军行为的潜在激励机制。
• 开发一种可泛化、可解释的分类方法，仅基于可观测的在线行为对水军账号进行分类，无需依赖标注的身份信息或外部元数据。
• 揭示水军与普通用户在动机上的差异，为系统性识别恶意影响力传播活动提供依据。
• 建立基于IRL的行为建模基础，以实现对政治、健康及社会领域中由国家支持的水军行为的检测。

提出的方法

• 采用逆强化学习（IRL）推断观察到的用户行为背后的奖励函数，建模驱动特定行为的激励机制。
• 将推断出的奖励结构作为监督分类的特征，用于区分水军与非水军账号。
• 在在线行为序列（如转发、回复、点赞）上训练IRL模型，以捕捉互动动态与对反馈的敏感性。
• 将IRL框架应用于美国国会认定与俄罗斯互联网研究机构（IRA）有关的2,752个Twitter账号数据集。
• 将估计出的奖励作为输入特征输入二分类器，以区分水军与真实用户的行为模式。
• 通过将检测到的行为模式与具体激励机制关联，确保模型的可解释性，符合可解释人工智能（XAI）原则。

实验结果

研究问题

• RQ1 逆强化学习能否有效揭示社交媒体上水军行为背后的隐藏激励？
• RQ2 水军账号推断出的动机结构与普通用户有何不同？
• RQ3 基于IRL的行为特征是否能仅使用活动流数据，实现对国家支持型水军账号的高精度分类？
• RQ4 与普通用户相比，水军在多大程度上响应社交反馈（如点赞、转发）？
• RQ5 该IRL方法在不同平台及不同类型恶意在线行为中是否具备可泛化性？

主要发现

• 基于IRL的方法仅使用活动流数据，即可在区分俄罗斯水军账号与非水军账号时达到89.1%的AUC。
• 水军账号的行为在很大程度上独立于用户反馈（如转发、点赞），表明其关注点在于内容传播而非互动参与。
• 水军表现出在互动结果不确定的情况下仍持续分享内容的一致模式，表明其采用的是战略性、激励驱动的内容传播模型。
• 推断出的奖励函数揭示了水军与普通用户之间在社交反馈响应及互动动态方面的显著行为差异。
• 基于点击流的模型无法有效区分水军与普通用户，凸显了传统行为聚类方法的局限性。
• IRL模型通过揭示其潜在动机，为检测恶意账号提供了可解释且可泛化的框架。