[论文解读] Addressing the Multistakeholder Impact of Popularity Bias in Recommendation Through Calibration

Himan Abdollahpouri, Masoud Mansoury+2 more|arXiv (Cornell University)|Jul 23, 2020

Recommender Systems and Techniques参考文献 35被引用 10

一句话总结

本文提出流行度校准——一种将推荐项目流行度与用户个体偏好分布对齐的方法，以缓解推荐系统中的流行度偏差。通过优化一个匹配用户偏好分布与推荐输出流行度的校准度量，CP算法提升了长尾项目曝光度，并间接增强了供应商公平性，在多利益相关方评估中优于最先进方法。

ABSTRACT

Popularity bias is a well-known phenomenon in recommender systems: popular items are recommended even more frequently than their popularity would warrant, amplifying long-tail effects already present in many recommendation domains. Prior research has examined various approaches for mitigating popularity bias and enhancing the recommendation of long-tail items overall. The effectiveness of these approaches, however, has not been assessed in multistakeholder environments where in addition to the users who receive the recommendations, the utility of the suppliers of the recommended items should also be considered. In this paper, we propose the concept of popularity calibration which measures the match between the popularity distribution of items in a user's profile and that of the recommended items. We also develop an algorithm that optimizes this metric. In addition, we demonstrate that existing evaluation metrics for popularity bias do not reflect the performance of the algorithms when it is measured from the perspective of different stakeholders. Using music and movie datasets, we empirically show that our approach outperforms the existing state-of-the-art approaches in addressing popularity bias by calibrating the recommendations to users' preferences. We also show that our proposed algorithm has a secondary effect of improving supplier fairness.

研究动机与目标

• 为解决流行度偏差对多利益相关方的影响，该影响不仅限于用户，还涉及项目供应商。
• 识别现有流行度偏差评估度量的局限性，这些度量未能反映利益相关方特定的性能表现。
• 开发一种基于校准的方法，使推荐流行度与用户实际偏好分布相匹配。
• 证明改进用户层面的流行度校准可间接提升供应商公平性，而无需显式优化。
• 在多种数据集（MovieLens、last.fm）上，通过包括精度、覆盖率和公平性在内的多利益相关方度量，评估所提方法。

提出的方法

• 引入流行度校准的概念，作为衡量用户评分偏好中流行度分布与推荐项目流行度之间匹配程度的度量。
• 提出CP（基于校准的重排序）算法，通过平衡精度与校准的加权目标函数，优化流行度校准度量。
• 使用超参数λ控制重排序过程中推荐准确性（精度）与流行度校准之间的权衡。
• 采用重排序策略，修改基础算法（如Item-CF）的输出，以更好地匹配用户特定的流行度偏好。
• 在两个真实世界数据集——MovieLens 1M和last.fm上应用该方法，从多个利益相关方视角评估性能。
• 使用两种定义衡量供应商公平性：不同供应商之间的曝光差异，以及推荐结果与供应商流行度的一致性。

实验结果

研究问题

• RQ1 流行度偏差对不同利益相关方（用户、供应商、项目群体）的影响如何，超出整体系统精度之外？
• RQ2 标准评估度量在多大程度上无法捕捉流行度偏差的多利益相关方后果？
• RQ3 基于校准的重排序方法是否能在不牺牲精度的前提下，同时改善用户层面的流行度对齐与供应商公平性？
• RQ4 所提出的CP算法对超参数λ的敏感性如何？精度、覆盖率与校准之间存在何种权衡？
• RQ5 改善用户层面的流行度校准是否能间接提升供应商公平性？若能，其条件是什么？

主要发现

• CP算法在精度损失可忽略（≈0.001）的同时，显著提升了覆盖率、多样性与流行度校准度，尤其在λ=0.2时表现突出。
• 在last.fm数据集上，CP算法在所有λ值下保持或略微提升精度，同时在校准与公平性度量上获得显著增益。
• 所提方法在多利益相关方评估中优于最先进方法，尤其在减少短头项目过度代表方面表现优异。
• 流行度校准带来可衡量的次级效益：供应商公平性提升，表现为不同供应商之间曝光差异的减少。
• 项目流行度与供应商流行度之间存在正相关关系，因此更好的校准可间接增强供应商公平性。
• 结果表明，仅靠精度等标准度量不足以全面捕捉流行度偏差在用户、项目与供应商群体中的真实影响。