[论文解读] FairJudge: Trustworthy User Prediction in Rating Platforms

Srijan Kumar, Bryan Hooi+4 more|arXiv (Cornell University)|Mar 30, 2017

Spam and Phishing Detection参考文献 30被引用 16

一句话总结

FairJudge 提出了一种新颖的迭代算法，通过相互递归的贝叶斯方程联合建模用户公平性、产品优质度和评分可靠性，以检测评分平台中的欺诈用户。该算法具备线性时间复杂度、保证收敛，并优于九种现有方法，在 Flipkart 的真实世界欺诈检测中达到 80% 的准确率，并成功识别出比特币网络上的一个 40 个用户的僵尸网络。

ABSTRACT

Rating platforms enable large-scale collection of user opinion about items (products, other users, etc.). However, many untrustworthy users give fraudulent ratings for excessive monetary gains. In the paper, we present FairJudge, a system to identify such fraudulent users. We propose three metrics: (i) the fairness of a user that quantifies how trustworthy the user is in rating the products, (ii) the reliability of a rating that measures how reliable the rating is, and (iii) the goodness of a product that measures the quality of the product. Intuitively, a user is fair if it provides reliable ratings that are close to the goodness of the product. We formulate a mutually recursive definition of these metrics, and further address cold start problems and incorporate behavioral properties of users and products in the formulation. We propose an iterative algorithm, FairJudge, to predict the values of the three metrics. We prove that FairJudge is guaranteed to converge in a bounded number of iterations, with linear time complexity. By conducting five different experiments on five rating platforms, we show that FairJudge significantly outperforms nine existing algorithms in predicting fair and unfair users. We reported the 100 most unfair users in the Flipkart network to their review fraud investigators, and 80 users were correctly identified (80% accuracy). The FairJudge algorithm is already being deployed at Flipkart.

研究动机与目标

• 为解决亚马逊、Yelp 和 Flipkart 等在线评分平台中日益严重的欺诈评分问题，恶意用户为获取经济利益而操纵声誉。
• 开发一种可信的用户预测系统，即使在初始数据有限（冷启动问题）的情况下也能识别不公平用户。
• 以一种能捕捉欺诈行为异常的建模方式，描述用户公平性、产品质量和评分可靠性之间的相互依赖关系。
• 设计一种可扩展且具有理论保证的算法，可部署于 Flipkart 市场等真实世界系统中。

提出的方法

• 提出三个核心度量：用户公平性 F(u)、产品优质度 G(p) 和评分可靠性 R(u,p)，通过相互递归的公式定义。
• 引入贝叶斯框架，通过为公平性和优质度评分引入先验分布来处理冷启动问题。
• 通过惩罚项将行为特征（如评分速度、突发性及评分模式）整合到模型中，以检测异常行为。
• 开发一种迭代算法 FairJudge，通过带时间戳的用户-项目评分二分图，在整个评分网络中联合计算 F(u)、G(p) 和 R(u,p)。
• 采用加权更新规则，结合网络结构、行为信号和先验信念，在每次迭代中优化公平性和可靠性估计。
• 证明了在有限次迭代内可保证收敛，并具有线性时间复杂度 O(E)，其中 E 为边数（评分数）。

实验结果

研究问题

• RQ1 联合递归建模公平性、优质度和可靠性是否能在评分平台中优于现有方法，检测欺诈用户？
• RQ2 行为特征与贝叶斯先验的整合在提升检测准确率方面效果如何，特别是在冷启动阶段？
• RQ3 FairJudge 算法在不同规模的标注训练数据下（包括无监督设置）是否保持高性能？
• RQ4 该算法能否在真实世界网络中检测到协同欺诈行为，如僵尸网络或串通的刷分用户？
• RQ5 该算法在大规模真实世界评分网络中的可扩展性如何？

主要发现

• 在五个真实世界数据集的十个无监督案例中，FairJudge 在九个案例中达到最高或第二高的平均精确率，表现出强大的泛化能力。
• 在有监督设置中，FairJudge 在所有五个数据集上 AUC ≥ 0.85，始终优于九种现有算法。
• 该算法成功识别出 Flipkart 欺诈调查人员报告的 100 位最不公平用户中的 80 位，真实世界验证准确率达 80%。
• 在比特币 Alpha 网络中，一个由 40 名串通用户组成的集群（被证实为单一账户的刷分者）被 FairJudge 成功检测到，其表现为紧密连接、相互评分的群体。
• 不公平用户表现出高度负面的平均评分（亚马逊上均值为 -0.88）、快速发布评分（通常间隔少于 15 秒），并呈现双峰评分模式（全为 -1.0 或全为 +1.0）。
• 该算法表现出线性可扩展性，运行时间与边数成比例增长，证实其在大规模部署中的实用性。