[论文解读] Investigating Potential Factors Associated with Gender Discrimination in Collaborative Recommender Systems

Masoud Mansoury, Himan Abdollahpouri+4 more|arXiv (Cornell University)|Feb 18, 2020

Recommender Systems and Techniques参考文献 9被引用 7

一句话总结

本研究通过分析四种算法中的资料档异常、评分熵和资料档大小，调查协作式推荐系统中的性别公平性差异。结果显示，即使控制了这些因素，女性用户仍持续获得比男性用户更低准确度的推荐，其中SVD++表现出最公平的性能。

ABSTRACT

The proliferation of personalized recommendation technologies has raised concerns about discrepancies in their recommendation performance across different genders, age groups, and racial or ethnic populations. This varying degree of performance could impact users' trust in the system and may pose legal and ethical issues in domains where fairness and equity are critical concerns, like job recommendation. In this paper, we investigate several potential factors that could be associated with discriminatory performance of a recommendation algorithm for women versus men. We specifically study several characteristics of user profiles and analyze their possible associations with disparate behavior of the system towards different genders. These characteristics include the anomaly in rating behavior, the entropy of users' profiles, and the users' profile size. Our experimental results on a public dataset using four recommendation algorithms show that, based on all the three mentioned factors, women get less accurate recommendations than men indicating an unfair nature of recommendation algorithms across genders.

研究动机与目标

• 调查资料档异常、熵和资料档大小是否会导致协作式推荐系统中的性别不公平。
• 确定男性与女性用户之间推荐准确度的差异是否可由这三项用户资料特征解释。
• 评估四种推荐算法——UserKNN、ItemKNN、ListRankMF 和 SVD++——在男性与女性用户群体中的公平性。
• 识别哪些算法方法可减轻或加剧推荐准确度中的性别表现差异。

提出的方法

• 使用用户评分与项目平均评分的绝对偏差，并以评分项目数进行归一化，衡量资料档异常。
• 通过用户评分分布的香农熵计算评分熵，以评估其偏好中信息的多样性。
• 使用平均资料档大小（评分项目数）作为用户活跃度与数据可用性的代理指标。
• 在公开数据集上评估四种协同过滤算法——UserKNN、ItemKNN、ListRankMF 和 SVD++——以比较公平性。
• 使用错误校准（与预期推荐准确度的偏差）和精确率（前N名推荐中相关项目的比例）量化推荐公平性。
• 利用皮尔逊相关系数与可视化方法，分析20个每个性别的用户群体中资料特征与公平性指标之间的相关性。

实验结果

研究问题

• RQ1 异常评分行为的程度是否能解释男性与女性用户之间推荐准确度的差异？
• RQ2 用户评分资料档的熵在多大程度上与跨性别的推荐公平性相关？
• RQ3 用户资料档大小与男性与女性用户推荐公平性之间是否存在显著关系？
• RQ4 哪种推荐算法在男性与女性用户群体中展现出最均衡的性能？

主要发现

• 即使在控制资料档异常、熵和资料档大小后，女性在所有四种算法中仍持续获得比男性更低准确度的推荐。
• 资料档异常仅与男性用户的错误校准呈正相关，表明其无法解释观察到的推荐公平性性别差异。
• 评分熵与精确率在两性中均呈现强烈正相关（≈0.9），但随着熵增加，男女之间精确率的差距进一步扩大。
• 资料档大小与错误校准或精确率无显著相关性，表明其在此数据集中并非公平性差异的驱动因素。
• SVD++在跨性别群体中展现出最均衡的性能，错误校准最小，且男女用户的精确率相近。
• 基于邻域的算法（UserKNN、ItemKNN）相较于基于矩阵分解的方法，在精确率与错误校准方面表现出更强的性别公平性差异。