[论文解读] Iterative Filtering for a Dynamical Reputation System

Cristobald de Kerchove, Paul Van Dooren|ArXiv.org|Nov 26, 2007

Spam and Phishing Detection参考文献 11被引用 19

一句话总结

本文提出了一种用于动态声誉系统的迭代过滤算法，通过非线性、稀疏感知模型联合计算项目声誉和评价者可靠性权重。该方法以超线性速度收敛至唯一解，稳健地降低异常值（如垃圾评论者和随机评价者）的影响，而无需丢弃数据，每次迭代具有线性时间复杂度，且对恶意输入具有强大的经验鲁棒性。

ABSTRACT

The paper introduces a novel iterative method that assigns a reputation to n + m items: n raters and m objects. Each rater evaluates a subset of objects leading to a n x m rating matrix with a certain sparsity pattern. From this rating matrix we give a nonlinear formula to define the reputation of raters and objects. We also provide an iterative algorithm that superlinearly converges to the unique vector of reputations and this for any rating matrix. In contrast to classical outliers detection, no evaluation is discarded in this method but each one is taken into account with different weights for the reputation of the objects. The complexity of one iteration step is linear in the number of evaluations, making our algorithm efficient for large data set. Experiments show good robustness of the reputation of the objects against cheaters and spammers and good detection properties of cheaters and spammers.

研究动机与目标

• 解决在大规模评分系统中为项目分配可靠声誉的问题，其中评价者可能不可靠或恶意。
• 开发一种方法，同时估计项目声誉和评价者可靠性，而无需丢弃任何评价，与传统异常值检测方法不同。
• 确保在评分矩阵中任意稀疏模式下，即使存在对抗性评价者，也能收敛至唯一解。
• 提供一种可扩展、高效的算法，每次迭代具有线性时间复杂度，适用于大规模数据集。
• 通过基于信念差异的可信度评分，降低不一致评价者的权重，从而提高协同过滤和信任系统的鲁棒性。

提出的方法

• 该方法基于评价者评价与当前项目声誉之间信念差异的非线性公式来建模声誉。
• 引入一个可信度矩阵 T，其中每个条目 T_ij = c_j - d_i，d_i 表示评价者 i 的信念差异，用于根据评价者可靠性加权评价。
• 该算法通过不动点迭代方式，迭代优化声誉和可信度评分，以超线性速度收敛至唯一解。
• 信念差异 d_i 计算为评价者评价与当前项目声誉之间的 L2 距离，作为不一致性的度量。
• 该方法使用灵活的参数 c_j 控制对差异的敏感度，允许在均匀加权与激进异常值检测之间插值。
• 对于任意初始评分矩阵和任意稀疏模式，收敛性均可保证，计算复杂度与评价数量呈线性关系。

实验结果

研究问题

• RQ1 我们如何联合估计项目声誉和评价者可靠性，以应对恶意或不一致的评价者？
• RQ2 我们能否设计一种迭代算法，以超线性速度收敛至唯一解，且不丢弃任何数据？
• RQ3 当引入垃圾评论者或随机评价者时，该方法在在多大程度上能保持准确的项目声誉？
• RQ4 与单步方法相比，多次迭代如何改善诚实评价者与异常值之间的分离？
• RQ5 不同的可信度函数（如指数型或倒数型）对最终声誉评分和收敛特性有何影响？

主要发现

• 该迭代过滤算法对任意评分矩阵均以超线性速度收敛至唯一解，无论稀疏性或初始条件如何。
• 收敛后，项目声誉对垃圾信息的鲁棒性显著增强：使用该算法时，预垃圾信息与后垃圾信息之间的一范数差异为 267，而使用简单平均时为 638。
• 单次迭代对诚实与恶意评价者之间的区分能力较差；如图 6 所示，收敛对于可靠异常值检测至关重要。
• 由于信念差异较高，垃圾评论者和随机评价者被自然地降低权重，其可信度评分 T_ij 趋近于零。
• 该方法在多次迭代中有效区分诚实评价者与异常值，如图 6 的密度图所示，可信度分布的清晰度随迭代逐步提高。
• 该方法具有可扩展性，每次迭代仅需与评价数量呈线性时间，适用于大规模系统。