[论文解读] Bias Disparity in Collaborative Recommendation: Algorithmic Evaluation and Comparison

Masoud Mansoury, Bamshad Mobasher+2 more|TU/e Research Portal|Aug 2, 2019

Recommender Systems and Techniques参考文献 30被引用 5

一句话总结

本文评估了不同协同推荐算法在受保护群体（如性别）和物品类别之间对偏见差异（即用户声明偏好与推荐项目之间的差异）的处理方式。基于Yelp数据集的一个样本，比较了基于邻域、基于模型和信任感知的算法，发现TrustKNN在保持强大项目覆盖率的同时显著降低了偏见差异，在公平性和稳定性方面优于其他模型。

ABSTRACT

Research on fairness in machine learning has been recently extended to recommender systems. One of the factors that may impact fairness is bias disparity, the degree to which a group's preferences on various item categories fail to be reflected in the recommendations they receive. In some cases biases in the original data may be amplified or reversed by the underlying recommendation algorithm. In this paper, we explore how different recommendation algorithms reflect the tradeoff between ranking quality and bias disparity. Our experiments include neighborhood-based, model-based, and trust-aware recommendation algorithms.

研究动机与目标

• 探究推荐算法在受保护和非受保护用户群体之间，如何反映偏见差异（即用户声明偏好与实际推荐之间的差异）。
• 评估在不同推荐算法中，排名质量、项目覆盖率与偏见差异之间的权衡。
• 评估信任感知算法相较于标准基于邻域和基于模型的方法，在减少偏见差异方面的效果。
• 为系统设计者提供可操作的见解，以选择更能反映多样化用户偏好并减少推荐中不公平表现的算法。

提出的方法

• 使用公开Yelp数据集的一个样本，分析用户在不同物品类别和基于性别的用户群体中的偏好。
• 评估多种算法：基于邻域的（UserKNN、ItemKNN、TrustKNN）、基于模型的（SLIM、ListRankMF、BiasedMF、SVD++）以及信任感知的（SocialMF、TrustMF、SoReg）。
• 将偏见差异定义为某一用户群体的偏好类别与实际被推荐类别的偏离程度。
• 使用nDCG评估排名质量，项目覆盖率定义为推荐中包含的项目提供者所占比例，平均差异则计算所有类别中的平均值。
• 对信任感知算法应用传播模型以减少信任矩阵的稀疏性，从而提升性能。
• 报告在多个超参数设置下的结果，重点关注最佳和最差nDCG值以确保结果的稳健性。

实验结果

研究问题

• RQ1 不同协同推荐算法在减少受保护与非受保护用户群体在各类别中的偏见差异方面表现如何？
• RQ2 在基于邻域、基于模型和信任感知的推荐算法中，排名质量、项目覆盖率与偏见差异之间的权衡关系如何？
• RQ3 与标准协同过滤方法相比，信任感知推荐算法在多大程度上减少了偏见差异？
• RQ4 信任数据的稀疏性在多大程度上影响信任感知算法在减少偏见差异方面的性能？
• RQ5 项目覆盖率更高的推荐算法是否也能在所有类别中实现更低的平均偏见差异？

主要发现

• TrustKNN（一种信任感知的基于邻域算法）在男性和女性用户中均实现了最低的偏见差异，对女性用户在前10个最偏好类别中推荐了60%的偏好类别，对男性用户为50%。
• 基于邻域的算法，尤其是TrustKNN，在偏见差异和项目覆盖率方面优于基于模型的算法，尽管nDCG得分略低。
• SLIM在基于模型的算法中表现最佳，实现了高nDCG、低平均差异以及可比的项目覆盖率。
• 随机推荐和最热门项目基线方法因缺乏偏好针对性，导致偏见差异最低，但在排名质量方面表现差，凸显了公平性与准确性的权衡。
• 信任感知模型如SoReg在前10个偏好类别中减少了偏见差异，但未能改善所有类别中的平均差异，表明其泛化能力有限。
• 算法之间的性能差距在偏见差异和项目覆盖率方面最为显著，基于邻域的模型在密集评分数据下表现出更强的公平性指标鲁棒性。