[论文解读] Battling the Internet Water Army: Detection of Hidden Paid Posters

Cheng Chen, Kui Wu+2 more|arXiv (Cornell University)|Nov 18, 2011

Spam and Phishing Detection参考文献 14被引用 52

一句话总结

本文提出了一种混合检测系统，通过分析真实网络数据的行为特征与语义特征，识别隐藏的付费网络水军，即‘网络水军’。通过在SVM分类器中结合非语义行为特征与语义相似性分析，该方法在搜狐的真实数据集上实现了95.24%的精确率、73.17%的召回率、82.76%的F1值和88.79%的准确率，显著提升了检测性能。

ABSTRACT

We initiate a systematic study to help distinguish a special group of online users, called hidden paid posters, or termed "Internet water army" in China, from the legitimate ones. On the Internet, the paid posters represent a new type of online job opportunity. They get paid for posting comments and new threads or articles on different online communities and websites for some hidden purposes, e.g., to influence the opinion of other people towards certain social events or business markets. Though an interesting strategy in business marketing, paid posters may create a significant negative effect on the online communities, since the information from paid posters is usually not trustworthy. When two competitive companies hire paid posters to post fake news or negative comments about each other, normal online users may feel overwhelmed and find it difficult to put any trust in the information they acquire from the Internet. In this paper, we thoroughly investigate the behavioral pattern of online paid posters based on real-world trace data. We design and validate a new detection mechanism, using both non-semantic analysis and semantic analysis, to identify potential online paid posters. Our test results with real-world datasets show a very promising performance.

研究动机与目标

• 系统研究并检测中国所谓的‘网络水军’，即通过协同发帖操纵舆论的隐藏付费在线发帖者。
• 利用真实世界的数据痕迹，识别并验证付费发帖者的组织结构与行为模式。
• 开发一种结合非语义行为特征与语义分析的检测机制，以提升检测准确率。
• 在主要中国网站的真实数据集上评估检测系统的有效性。
• 为未来在线影响力行动与垃圾信息检测研究提供基础。

提出的方法

• 从中国主流网站收集真实世界数据集，重点关注在高关注度社会事件期间疑似存在付费发帖者活动的用户行为。
• 分析发布频率、发布时间和账号年龄等非语义行为模式，识别与付费发帖者相关的异常行为。
• 设计一种语义相似性分析方法，检测多篇帖子中近似相同或仅经微小修改的评论，这是协同付费发帖的典型特征。
• 将语义特征整合进支持向量机（SVM）分类器中，以增强检测性能。
• 采用多阶段评估流程，对比加入语义分析前后检测准确率的变化，量化其影响。
• 在搜狐数据集上验证系统，证明引入语义特征后性能显著提升。

实验结果

研究问题

• RQ1 在线付费发帖者具有哪些独特的行为模式？与合法用户有何区别？
• RQ2 仅使用非语义行为分析在检测付费发帖者方面效果如何？
• RQ3 对评论内容进行语义分析在多大程度上提升了检测准确率？
• RQ4 结合行为与语义特征的混合模型是否优于仅使用单一类型特征的模型？
• RQ5 付费发帖者网络的组织结构是怎样的？其结构如何影响检测策略？

主要发现

• 将语义分析整合进SVM分类器显著提升了检测性能，F1值从75.6%提升至82.76%。
• 最终检测模型在搜狐数据集上实现了95.24%的精确率、73.17%的召回率、82.76%的F1值和88.79%的准确率。
• 付费发帖者经常发布高度相似或几乎完全相同的评论，仅做微小修改，这一特征被语义分析有效捕捉。
• 仅依靠非语义行为特征已提供较强的基线性能，但语义分析对于识别细微且协同的发帖行为至关重要。
• 研究证实存在一个结构化、隐蔽的付费发帖者网络，其在多个网站上表现出一致的发帖模式。
• 结果表明，语义相似性是检测协同在线宣传行为的强大且可靠的特征。