[论文解读] Exploring and Mitigating Gender Bias in Recommender Systems with Explicit Feedback

Shrikant Saxena, Shweta Jain|arXiv (Cornell University)|Dec 5, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文提出一种模型，通过用户特定的偏差估计与缩放，对显式反馈中的用户评分进行去偏处理，以量化并缓解推荐系统中的性别偏见。实验表明，去偏评分在多种算法（包括UserKNN、ItemKNN、ALS和SVD）上实现了高达40%的偏见显著降低，同时保持了最小的准确率损失，且该方法具有模型无关性，并在无偏估计理论上具有理论基础。

ABSTRACT

Recommender systems are indispensable because they influence our day-to-day behavior and decisions by giving us personalized suggestions. Services like Kindle, Youtube, and Netflix depend heavily on the performance of their recommender systems to ensure that their users have a good experience and to increase revenues. Despite their popularity, it has been shown that recommender systems reproduce and amplify the bias present in the real world. The resulting feedback creates a self-perpetuating loop that deteriorates the user experience and results in homogenizing recommendations over time. Further, biased recommendations can also reinforce stereotypes based on gender or ethnicity, thus reinforcing the filter bubbles that we live in. In this paper, we address the problem of gender bias in recommender systems with explicit feedback. We propose a model to quantify the gender bias present in book rating datasets and in the recommendations produced by the recommender systems. Our main contribution is to provide a principled approach to mitigate the bias being produced in the recommendations. We theoretically show that the proposed approach provides unbiased recommendations despite biased data. Through empirical evaluation on publicly available book rating datasets, we further show that the proposed model can significantly reduce bias without significant impact on accuracy. Our method is model agnostic and can be applied to any recommender system. To demonstrate the performance of our model, we present the results on four recommender algorithms, two from the K-nearest neighbors family, UserKNN and ItemKNN, and the other two from the matrix factorization family, Alternating least square and Singular value decomposition.

研究动机与目标

• 量化书籍评分数据集中的性别偏见，以及基于显式反馈生成的推荐中的性别偏见。
• 解决由用户评分中的偏见引发的推荐系统中偏见的自我强化循环问题。
• 开发一种模型无关的方法，即使在有偏数据上进行训练，也能生成无偏的推荐。
• 通过在将评分输入任何推荐算法前进行去偏处理，确保推荐的公平性。
• 在保持推荐准确率的前提下，评估该方法在多种算法上的有效性。

提出的方法

• 该模型通过比较用户对某本书的评分与同本书在同龄人中的平均评分，来估计每个用户的性别相关偏差。
• 利用用户特定的偏差得分对单个评分应用去偏变换，生成一个对真实偏好无偏估计的去偏评分。
• 将去偏评分用作任何标准推荐算法的输入，从而确保下游推荐的公平性。
• 该方法为混合型，结合了预处理（评分去偏）和后处理（公平推荐生成）两个阶段。
• 使用统计显著性检验（z检验）在多个数据集和算法上验证偏见的减少。
• 该方法具有模型无关性，可应用于任何基于协同过滤或矩阵分解的推荐系统。

实验结果

研究问题

• RQ1 如何在书籍推荐系统中量化用户显式反馈中的性别偏见？
• RQ2 用户特定的偏见在多大程度上可以被估计并纠正，以生成更公平的推荐？
• RQ3 对用户评分进行去偏处理是否能显著降低推荐偏见，同时不损害准确率？
• RQ4 该去偏模型在不同推荐算法（如UserKNN、ItemKNN、ALS和SVD）上的性能表现如何？
• RQ5 数据集大小和用户/项目多样性对偏见估计与缓解的准确率有何影响？

主要发现

• 所提方法在推荐中将性别偏见最高降低了40%，在基于UserKNN的系统中观察到最显著的降低。
• 在AZ数据集中，由于用户和项目基数更大，偏见估计更准确，因此偏见降低效果更明显。
• 在UserKNN上，该模型实现了10%的准确率损失，同时将偏见降低了近40%，表明公平性与性能之间具有有利的权衡。
• 统计显著性检验证实，所有算法和数据集上的偏见降低均高度显著（p < 10^-5）。
• 该方法在UserKNN上的表现优于ItemKNN，因为其更自然地契合UserKNN中使用的基于用户的相似性机制。
• 在较小的BX数据集上，准确率损失更高，证实了更大的数据集能提升偏见估计与缓解的可靠性。