[论文解读] Multi-sided Exposure Bias in Recommendation

Himan Abdollahpouri, Masoud Mansoury|arXiv (Cornell University)|Jun 29, 2020

Recommender Systems and Techniques参考文献 22被引用 25

一句话总结

本文引入了推荐系统中的多边曝光偏差，分析了流行度偏差如何不成比例地影响用户和商品供应商。提出了以用户为中心（UPD）和以供应商为中心（SPD）的度量方法，以量化曝光不平衡，表明改善用户流行度校准也能提升供应商公平性，挑战了仅凭准确度即可实现公平曝光的假设。

ABSTRACT

Academic research in recommender systems has been greatly focusing on the accuracy-related measures of recommendations. Even when non-accuracy measures such as popularity bias, diversity, and novelty are studied, it is often solely from the users' perspective. However, many real-world recommenders are often multi-stakeholder environments in which the needs and interests of several stakeholders should be addressed in the recommendation process. In this paper, we focus on the popularity bias problem which is a well-known property of many recommendation algorithms where few popular items are over-recommended while the majority of other items do not get proportional attention and address its impact on different stakeholders. Using several recommendation algorithms and two publicly available datasets in music and movie domains, we empirically show the inherent popularity bias of the algorithms and how this bias impacts different stakeholders such as users and suppliers of the items. We also propose metrics to measure the exposure bias of recommendation algorithms from the perspective of different stakeholders.

研究动机与目标

• 探究推荐算法中的流行度偏差如何影响多利益相关方平台中用户和供应商的曝光分布。
• 识别现有以准确度为导向的评估度量方法的局限性，这些方法忽视了利益相关方特定的曝光不平衡问题。
• 提出新的度量方法——UPD与SPD，从用户和供应商两个视角量化曝光偏差。
• 通过实证研究证明，降低用户侧流行度偏差（UPD）的同时也能减少供应商侧曝光不平衡（SPD），表明用户公平性与供应商公平性之间存在一致性。
• 倡导在推荐系统中采用多利益相关方评估框架，超越以用户为中心的准确度度量。

提出的方法

• 本文使用两个公开数据集——Last.fm（音乐）和MovieLens 1M（电影），通过艺术家/专辑映射或IMDB中的导演数据提取供应商信息。
• 使用精确率作为主要优化指标，评估三种个性化算法（Biased-MF、User-CF、Item-CF）和一种非个性化基线（Most-popular）算法。
• 作者将用户流行度偏差（UPD）定义为推荐中项目流行度分布与用户评分中流行度分布之间的Kullback-Leibler散度，用于衡量用户侧的曝光不平衡。
• 类似地，供应商流行度偏差（SPD）被定义为推荐中供应商流行度分布与评分中流行度分布之间的KL散度，用于衡量供应商侧的曝光公平性。
• UPD与SPD按用户计算，并在测试集上聚合，以评估不同流行度群体下整体曝光公平性。
• 研究通过统计分析与可视化方法，关联不同算法与数据集下的UPD、SPD、精确率与目录覆盖率。

实验结果

研究问题

• RQ1 推荐算法中的流行度偏差如何影响具有不同品味偏好的用户的曝光分布？
• RQ2 现有推荐算法在多大程度上从用户视角过度偏向热门项目，而牺牲了较不热门的项目？
• RQ3 不同供应商（如艺术家或导演）的项目曝光程度与用户评分中的实际流行度相比，偏差程度如何？
• RQ4 降低用户侧流行度偏差（UPD）是否也能带来供应商曝光公平性（SPD）的改善？
• RQ5 推荐准确度（精确率）与曝光公平性（UPD/SPD）之间是否存在权衡？若存在，应如何平衡？

主要发现

• 降低用户流行度偏差（UPD）可始终带来供应商流行度偏差（SPD）的降低，表明用户公平性的提升也改善了供应商公平性。
• 尽管精确率相近，Biased-MF在UPD方面显著优于Most-popular基线，表明个性化可减少用户侧的曝光偏差。
• Most-popular算法具有较高的UPD与SPD，表明即使在精确率相当的情况下，仍存在对热门项目和供应商的过度代表。
• 目录覆盖率与SPD无相关性——高项目覆盖率的算法仍可能对较不热门的供应商造成显著的曝光不平衡。
• 精确率与公平性度量之间无直接相关性：更高的精确率并不意味着更好的曝光校准，反之亦然。
• 随机推荐虽能改善SPD，但会大幅降低精确率，凸显了在实际部署中准确度与公平性之间的权衡。