[论文解读] Has the Online Discussion Been Manipulated? Quantifying Online Discussion Authenticity within Online Social Media

Aviad Elyashar, Jorge Bendahan+1 more|arXiv (Cornell University)|Aug 9, 2017

Spam and Phishing Detection参考文献 17被引用 10

一句话总结

本文提出一种基于相似度的方法，通过比较用户账户与已知滥用者及合法用户之间的相似度函数，量化社交媒体在线讨论的真实性。在人工标注的Twitter数据集上，词袋模型方法表现最佳（AUC ≈ 0.99，F1 ≈ 0.94），能够有效区分被操纵话题与真实话题，实现对众包刷量活动的有效检测。

ABSTRACT

Online social media (OSM) has a enormous influence in today's world. Some individuals view OSM as fertile ground for abuse and use it to disseminate misinformation and political propaganda, slander competitors, and spread spam. The crowdturfing industry employs large numbers of bots and human workers to manipulate OSM and misrepresent public opinion. The detection of online discussion topics manipulated by OSM \emph{abusers} is an emerging issue attracting significant attention. In this paper, we propose an approach for quantifying the authenticity of online discussions based on the similarity of OSM accounts participating in the discussion to known abusers and legitimate accounts. Our method uses several similarity functions for the analysis and classification of OSM accounts. The proposed methods are demonstrated using Twitter data collected for this study and previously published \emph{Arabic honeypot dataset}. The former includes manually labeled accounts and abusers who participated in crowdturfing platforms. Evaluation of the topic's authenticity, derived from account similarity functions, shows that the suggested approach is effective for discriminating between topics that were strongly promoted by abusers and topics that attracted authentic public interest.

研究动机与目标

• 为解决社交媒体上由众包刷量活动驱动的被操纵在线讨论检测挑战。
• 开发一种通过测量账户与已知滥用者及合法用户之间相似度来量化在线讨论真实性的方法。
• 克服在检测半自动及伪装型滥用者方面的局限性，这些滥用者模仿真实用户行为。
• 使分析人员能够区分政治、商业及社会话题中真实公众兴趣与人为操纵。

提出的方法

• 该方法使用五种相似度函数——余弦相似度、Jaccard相似度、Dice相似度、TF-IDF加权Jaccard相似度以及词袋模型，将用户内容（推文）与已标注的滥用者和合法用户档案进行比较。
• 通过滥用者与合法用户相似度的加权组合计算账户真实性，形成0–1范围内的连续真实性评分。
• 该方法应用聚类与人工标注，识别并验证数据集中滥用者与合法用户。
• 通过聚合个体账户的真实性评分评估话题真实性，使用甜甜圈图可视化不同真实性等级的分布情况。
• 该方法使用两个自定义Twitter数据集（605个已标注账户，1,006个滥用者）以及阿拉伯语蜜罐数据集进行评估。
• 性能通过三个数据集的AUC与F1分数进行评估，并通过方差分析（ANOVA）确认被操纵话题与真实话题在真实性分布上存在显著差异。

实验结果

研究问题

• RQ1 相似度函数能否有效区分社交媒体中滥用者账户与合法用户账户？
• RQ2 所提出的方法在滥用者使用伪装或半自动化行为时，能否有效检测在线讨论的操纵行为？
• RQ3 哪种相似度函数在不同数据集上能提供最稳健且准确的账户真实性分类？
• RQ4 聚合的账户真实性评分能否可靠地区分由众包刷量者操纵的话题与反映真实公众兴趣的话题？

主要发现

• 词袋模型相似度函数在所有数据集上均取得最高平均AUC（0.99）与F1（0.94）得分，优于余弦、Jaccard、Dice及基于TF-IDF的Jaccard相似度函数。
• 在已验证滥用者数据集中，该方法达到近乎最大性能（AUC ≈ 0.99，F1 ≈ 0.94），可能由于所提供的类似机器人账户行为更简单且更一致。
• 该方法成功区分了具有高经济或政治利益（易被操纵）的话题与低经济利益（多为真实）的话题，ANOVA分析结果予以证实。
• 真实性分布的可视化显示，在被操纵话题中（如亚马逊、竞标），少数高真实性的滥用者主导了讨论；而在真实话题中（如在线支持），合法性分布更为均衡。
• 即使仅有少量已标注的滥用者，该方法仍能通过聚类与相似度分析有效检测被操纵话题。
• 该方法展现出强大的泛化潜力，在包括公开可用的阿拉伯语蜜罐数据集（数据已匿名化）在内的多个数据集上均保持一致的高性能表现。