[论文解读] Crank up the volume: preference bias amplification in collaborative recommendation

Kun Lin, Nasim Sonboli+2 more|arXiv (Cornell University)|Sep 13, 2019

Recommender Systems and Techniques参考文献 24被引用 6

一句话总结

本文研究协同过滤算法如何在推荐系统中放大或抑制偏好偏差，发现基于记忆的算法（例如 UserKNN、ItemKNN）会显著放大用户群体之间的现有偏好差异，尤其是对主导群体而言；而矩阵分解模型如 BiasedMF 和 SVD++ 则倾向于抑制偏差，WRMF 表现出较强的校准能力。研究揭示，算法选择对公平性结果具有关键影响，尤其对具有极端偏好的用户而言。

ABSTRACT

Recommender systems are personalized: we expect the results given to a particular user to reflect that user's preferences. Some researchers have studied the notion of calibration, how well recommendations match users' stated preferences, and bias disparity the extent to which mis-calibration affects different user groups. In this paper, we examine bias disparity over a range of different algorithms and for different item categories and demonstrate significant differences between model-based and memory-based algorithms.

研究动机与目标

• 调查不同协同过滤算法如何在输入数据中存在的偏好偏差传播或扭曲。
• 分析用户群体（例如男性与女性）之间的偏差差异及其对推荐公平性的影响。
• 评估极端用户偏好对推荐算法放大或缓解偏差的影响。
• 评估算法参数调优是否会影响偏差差异，特别是在公平性敏感的应用中。
• 提供模型基于与基于记忆的算法在偏差传播中行为差异的实证证据。

提出的方法

• 使用基于群体的偏差差异度量方法，比较用户群体和项目类别之间的输入与输出偏好比率。
• 偏好比率定义为特定项目类别（例如科幻与犯罪）在某一用户群体内的评分比率。
• 偏差差异计算为输入与输出偏好比率之间的绝对差值，用以衡量偏差的放大或抑制。
• 实验基于一个用户群体分布不平衡的电影评分数据集（例如男性与女性）以及具有极端偏好的子群体进行。
• 评估了多种协同过滤算法：基于记忆的（UserKNN、ItemKNN、BPR）和基于模型的（WRMF、BiasedMF、SVD++、RankALS、MostPopular）。
• 通过用户组之间的 t 检验 p 值，评估偏差差异差异的统计显著性。

实验结果

研究问题

• RQ1 RQ1：不同推荐算法如何将输入数据中存在的现有偏好偏差传播到生成的推荐列表中？
• RQ2 RQ2：输入与输出之间不同用户群体（例如男性与女性）的偏差差异有何不同？
• RQ3 RQ3：对于具有极端偏好（正面或负面）的个体用户，其在特定项目类别上的偏差差异影响如何？
• RQ4 RQ4：在公平性关键场景中，算法参数调优是否会改变偏差差异的模式？

主要发现

• 基于记忆的算法（如 UserKNN 和 ItemKNN）会放大现有偏好偏差，提高更受青睐类型（如科幻）的输出偏好比率，同时降低不那么受青睐类型（如犯罪）的比率。
• 矩阵分解模型（如 BiasedMF 和 SVD++）会抑制输入偏好偏差，降低主导类型偏好的比率，同时提高不那么受青睐类型的比率。
• WRMF 展现出强校准能力，保持输出偏好比率稳定接近输入比率，尤其在科幻/犯罪类型对上表现明显。
• 对于具有极端偏好的用户（例如仅观看科幻片），UserKNN、BPR 和 WRMF 会保留其初始偏好，而 BiasedMF 和 SVD++ 会放大初始偏差。
• 在动作/爱情类型对上的偏差差异显示，UserKNN 和 ItemKNN 放大了主导群体的偏好偏差，p 值表明具有统计显著性。
• 尽管通过参数调优提升了准确性，但没有任何算法改变其根本的偏差放大或抑制行为，表明准确性和公平性并非总能一致。