[论文解读] Exposing Paid Opinion Manipulation Trolls

Todor Mihaylov, Ivan Koychev+2 more|arXiv (Cornell University)|Sep 26, 2021

Topic Modeling参考文献 24被引用 42

一句话总结

论文通过用他人标注为水军的用户进行训练，并在付费水军上进行测试，利用来自用户活动的广泛特征集合将水军与非水军分类。

ABSTRACT

Recently, Web forums have been invaded by opinion manipulation trolls. Some trolls try to influence the other users driven by their own convictions, while in other cases they can be organized and paid, e.g., by a political party or a PR agency that gives them specific instructions what to write. Finding paid trolls automatically using machine learning is a hard task, as there is no enough training data to train a classifier; yet some test data is possible to obtain, as these trolls are sometimes caught and widely exposed. In this paper, we solve the training data problem by assuming that a user who is called a troll by several different people is likely to be such, and one who has never been called a troll is unlikely to be such. We compare the profiles of (i) paid trolls vs. (ii)"mentioned" trolls vs. (iii) non-trolls, and we further show that a classifier trained to distinguish (ii) from (iii) does quite well also at telling apart (i) from (iii).

研究动机与目标

• 在在线论坛中检测付费水军的必要性和理解其行为模式的动机。
• 利用公开暴露的水军来训练检测器，尽管标注的付费水军数据有限。
• 评估在“提及的”水军上训练的模型对付费水军与非水军的泛化能力。

提出的方法

• 从活动历史（评论、活跃天数、被评论的出版物）构建用户特征向量。
• 开发338个缩放特征以及等效的非缩放特征，覆盖基于投票的、相似性、时序和互动特征。
• 在“提及的”水军 vs 非水军数据集上用RBF核的SVM（C=32, gamma=0.0078125）进行训练。
• 在四个已知付费水军（100+条帖子）与四个非水军之间测试训练好的模型，以评估对付费水军的泛化能力。
• 通过消融评估各特征组，找出驱动检测性能的特征。

实验结果

研究问题

• RQ1 训练在“提及的”水军上的分类器能否泛化识别非水军中的付费水军？
• RQ2 哪些特征组对在论坛数据中检测付费水军贡献最大？
• RQ3 模型性能如何随帖子数量和水军定义（提及的 vs 付费）而变化？

主要发现

Features	Accuracy	Precision	Recall	F-score
All Scaled (AS)	0.88	1.00	0.75	0.86
AS - time (S)	0.75	1.00	0.50	0.67
AS - vote up/down all (S)	0.38	0.00	0.00	0.00
All Unscaled	0.50	0.00	0.00	0.00

• 使用所有缩放特征获得最佳总体性能，对付费水军 vs 非水军的准确率为0.88，精确率为1.00，召回率为0.75，F-score为0.86。
• 时间相关特征和基于投票的特征至关重要；移除这些特征会降低精确度/召回率，其中投票相关特征是必不可少的（若全部投票相关特征被移除，则精确度/召回率为零）。
• 单独的特征组显示工作日/时段特征对检测具有显著贡献，而某些组（如回复状态、相似性）单独影响有限。
• 在消融分析中，在“提及的”水军上训练时，使用付费水军（100+帖子）进行测试是可行的，但对帖子数量较少的水军（少于约40条评论）性能下降。
• 聚合型档案表明付费水军发帖频率较低（活跃天数比率较低），但在工作日/工作时段集中活跃，并且其评论对的负向投票高于非水军。