[论文解读] Don't Feed the Troll: Detecting Troll Behavior via Inverse Reinforcement Learning

Luca Luceri, Silvia Giordano+1 more|arXiv (Cornell University)|Jan 28, 2020

Spam and Phishing Detection参考文献 45被引用 5

一句话总结

本文提出了一种逆强化学习（IRL）方法，通过推断驱动其行为的潜在激励机制，检测社交媒体上的水军账号。通过建模水军与非水军用户之间的行为差异，该方法在分类恶意账号方面实现了89.1%的AUC，兼具高准确率与对水军激励机制的可解释性。

ABSTRACT

Since the 2016 US Presidential election, social media abuse has been eliciting massive concern in the academic community and beyond. Preventing and limiting the malicious activity of users, such as trolls and bots, in their manipulation campaigns is of paramount importance for the integrity of democracy, public health, and more. However, the automated detection of troll accounts is an open challenge. In this work, we propose an approach based on Inverse Reinforcement Learning (IRL) to capture troll behavior and identify troll accounts. We employ IRL to infer a set of online incentives that may steer user behavior, which in turn highlights behavioral differences between troll and non-troll accounts, enabling their accurate classification. We report promising results: the IRL-based approach is able to accurately detect troll accounts (AUC=89.1%). The differences in the predictive features between the two classes of accounts enables a principled understanding of the distinctive behaviors reflecting the incentives trolls and non-trolls respond to.

研究动机与目标

• 为应对2016年美国总统选举后社交媒体水军及有组织操纵活动日益增长的威胁。
• 开发一种既准确又可解释的自动化水军账号检测方法。
• 通过逆强化学习建模塑造水军行为的潜在激励机制。
• 通过识别与特定激励相关的关键行为特征，区分水军行为与非水军行为。

提出的方法

• 该方法使用逆强化学习（IRL）推断解释社交媒体用户观察行为的奖励函数。
• 通过观察用户的行为模式，学习一组在线激励机制，如互动量、传播性或争议性。
• 通过比较已知水军与非水军账号的行为序列，推断其奖励结构的差异。
• 将检测任务建模为分类问题，使用推断出的奖励函数作为预测特征。
• IRL框架能够识别与水军激励一致的行为模式，例如煽动性或吸引关注的行为。
• 该模型在真实世界社交媒体数据上进行训练与评估，以确保实际适用性与鲁棒性。

实验结果

研究问题

• RQ1 哪些行为模式能够区分社交媒体平台上的水军账号与非水军账号？
• RQ2 驱动水军行为的潜在激励是什么？这些激励如何从可观察行为中推断？
• RQ3 逆强化学习能否有效建模并以高准确率分类水军行为？
• RQ4 水军与非水军用户推断出的奖励函数有何差异？这些差异提供了哪些洞察？
• RQ5 该模型的可解释性在多大程度上提升了对恶意网络行为的理解？

主要发现

• 基于IRL的方法在检测水军账号方面实现了89.1%的受试者工作特征曲线下面积（AUC），表明分类性能出色。
• 推断出的奖励函数揭示了区分水军与普通用户的行为激励机制。
• 水军账号表现出与互动增强、争议性及内容快速传播等激励一致的行为模式。
• 该模型识别出特定的行为特征——如发布时间、情感倾向和互动模式——是水军行为的强预测因子。
• 该方法提供了对为何某些行为特征属于水军的系统性、可解释性理解，超越了黑箱检测方法。
• 结果表明，IRL是检测有组织网络操纵行为的一种可行且富有洞察力的方法。