[论文解读] Building reputation systems for better ranking

Luo-Luo Jiang, Matúš Medo+3 more|arXiv (Cornell University)|Jan 13, 2010

Peer-to-Peer Network Technologies参考文献 5被引用 3

一句话总结

本文提出了一种基于声誉的迭代排名算法，通过加权平均评分联合估计评分系统中的用户声誉与物品质量，其中权重基于用户与估计物品质量的一致性得出。该方法在合成数据及真实世界数据（MovieLens 和 Amazon）上显著提升了排名准确性——表现为 AUC 分数更高，且在不同评分密度和基准物品集下均优于简单平均评分方法。

ABSTRACT

How to rank web pages, scientists and online resources has recently attracted increasing attention from both physicists and computer scientists. In this paper, we study the ranking problem of rating systems where users vote objects by discrete ratings. We propose an algorithm that can simultaneously evaluate the user reputation and object quality in an iterative refinement way. According to both the artificially generated data and the real data from MovieLens and Amazon, our algorithm can considerably enhance the ranking accuracy. This work highlights the significance of reputation systems in the Internet era and points out a way to evaluate and compare the performances of different reputation systems.

研究动机与目标

• 解决评分系统中简单平均评分方法的局限性，即不可靠或不一致的用户可能扭曲物品排名。
• 开发一种用户声誉与物品质量的联合估计方法，通过评分一致性迭代优化两个指标。
• 使用已知高质量基准物品（如奥斯卡奖和国家图书奖得主）在真实世界数据上评估算法性能。
• 提供基于 AUC 作为性能指标的声誉排名算法定量比较基准。
• 证明声誉感知排名在稀疏评分环境中优于朴素平均方法。

提出的方法

• 该算法将物品质量 $ q_k $ 估计为用户评分的加权平均值，其中权重与 $ \xi_i^{-\alpha} $ 成正比，$ \xi_i $ 表示用户 $ i $ 的评分与估计物品质量的均方偏差。
• 用户声誉通过 $ \xi_i = \frac{1}{M_i} \sum_k (x_{ik} - q_k)^2 $ 衡量，表示用户 $ i $ 的评分相对于估计物品质量的平均误差。
• 系统通过交替步骤迭代更新 $ q_k $ 和 $ \xi_i $，初始设 $ \xi_i = 1 $，直至收敛。
• 参数 $ \alpha \geq 0 $ 控制权重分配对声誉的敏感度，当 $ \alpha = 0 $ 时退化为简单平均方法。
• 该方法在均匀分布的合成数据及真实数据集（MovieLens 和 Amazon）上进行测试，使用 AUC 衡量相对于已知基准物品的性能。
• 在真实数据中，基准物品定义为奥斯卡获奖电影（74 部）和国家图书奖获奖书籍（189 本），AUC 计算为基准物品排名高于非基准物品的概率。

实验结果

研究问题

• RQ1 与简单平均评分相比，用户声誉与物品质量的联合迭代估计是否能提升排名准确性？
• RQ2 该声誉算法的性能如何随加权参数 $ \alpha $ 的不同取值而变化？
• RQ3 该算法在真实世界数据中不同评分密度下是否保持优越性能？
• RQ4 在 MovieLens 和 Amazon 中，该算法在识别已知高质量物品（如获奖作品）方面相比基线方法优势有多大？
• RQ5 AUC 是否可作为在真实数据上比较声誉排名算法的可靠且有意义的指标？

主要发现

• 与简单平均评分方法（即 $ \alpha = 0 $）相比，所提算法在 MovieLens 和 Amazon 数据集上显著提升了排名准确性（以 AUC 衡量）。
• 在 MovieLens 上，AUC 值从约 0.5（随机水平）提升至最优 $ \alpha $ 下的 0.65 以上，表明在识别奥斯卡获奖电影方面有显著改进。
• 在 Amazon 上，最优 $ \alpha $ 下 AUC 值也超过 0.6，表明在识别国家图书奖获奖书籍方面性能一致提升。
• 该算法在更密集的评分网络中表现更优，但相较于平均评分方法的定性改进在不同评分密度下均保持一致。
• 最优 $ \alpha $ 值在不同数据集中有所差异，表明该算法性能对数据结构和分布敏感。
• 迭代优化过程收敛稳定，且能有效识别并降低不一致评分者的权重，从而提升物品质量估计的准确性。