[论文解读] A Study of Position Bias in Digital Library Recommender Systems

Andrew Collins, Dominika Tkaczyk+2 more|arXiv (Cornell University)|Feb 19, 2018

Recommender Systems and Techniques参考文献 20被引用 11

一句话总结

本研究利用来自 Sowiport 和 JabRef 的真实世界数据，调查了数字图书馆推荐系统中的位置偏差，其中推荐列表被随机打乱或保持固定排名顺序。研究发现，排名靠前的项目点击率（CTR）显著高于预期——Sowiport 中高出 53%，JabRef 中高出 87%，证实了用户偏好强烈依赖于排名，与相关性无关，且具有统计显著性（p < 0.01）。

ABSTRACT

"Position bias" describes the tendency of users to interact with items on top of a list with higher probability than with items at a lower position in the list, regardless of the items' actual relevance. In the domain of recommender systems, particularly recommender systems in digital libraries, position bias has received little attention. We conduct a study in a real-world recommender system that delivered ten million related-article recommendations to the users of the digital library Sowiport, and the reference manager JabRef. Recommendations were randomly chosen to be shuffled or non-shuffled, and we compared click-through rate (CTR) for each rank of the recommendations. According to our analysis, the CTR for the highest rank in the case of Sowiport is 53% higher than expected in a hypothetical non-biased situation (0.189% vs. 0.123%). Similarly, in the case of Jabref the highest rank received a CTR of 1.276%, which is 87% higher than expected (0.683%). A chi-squared test confirms the strong relationship between the rank of the recommendation shown to the user and whether the user decided to click it (p &lt; 0.01 for both Jabref and Sowiport). Our study confirms the findings from other domains, that recommendations in the top positions are more often clicked, regardless of their actual relevance.

研究动机与目标

• 调查数字图书馆推荐系统中是否存在位置偏差及其程度。
• 评估用户对推荐项目点击行为是否受其在列表中位置的影响，而与相关性无关。
• 利用实证数据量化真实世界数字图书馆系统中位置偏差的程度。
• 评估推荐排名与用户点击率之间关系的统计显著性。
• 为提升数字图书馆推荐算法的公平性与准确性提供基于证据的见解。

提出的方法

• 在真实世界的数字图书馆系统（Sowiport 和 JabRef）中开展 A/B 测试，对部分用户随机打乱推荐列表。
• 比较在打乱与非打乱条件下，不同推荐排名的点击率（CTR）差异。
• 使用卡方检验评估排名与点击行为之间关系的统计显著性。
• 在无偏差情景下计算预期 CTR，以量化由位置偏差导致的偏离程度。
• 分析来自两个不同数字图书馆平台的上千万条推荐记录，以确保结果稳健。
• 测量各排名位置的 CTR，并将实际 CTR 与假设无位置偏差下的理论预期进行比较。

实验结果

研究问题

• RQ1 位置偏差在多大程度上影响数字图书馆推荐系统中用户的点击率？
• RQ2 推荐项的排名与用户互动可能性之间是否存在统计显著关系？
• RQ3 与无位置偏差情况下的预期值相比，排名靠前的推荐项点击率高出多少？
• RQ4 位置偏差是否在不同数字图书馆平台（如 Sowiport 和 JabRef）中表现出相似特征？
• RQ5 位置偏差在多大程度上扭曲了用户参与度，且与项目相关性无关？

主要发现

• 在 Sowiport 中，排名第一的推荐项点击率为 0.189%，比无偏差情景下的预期值 0.123% 高出 53%。
• 在 JabRef 中，排名第一的推荐项点击率为 1.276%，比无偏差条件下预期的 0.683% 高出 87%。
• 卡方检验证实，Sowiport 和 JabRef 中推荐排名与点击率之间存在统计显著关系（p < 0.01）。
• 本研究证实，位置偏差是用户交互中的主导因素，排名更高的项目无论相关性如何都会获得显著更多的点击。
• 数字图书馆中观察到的位置偏差程度相当显著，与网络搜索和电子商务等其他领域的发现相当。
• 结果表明，当前的推荐系统可能系统性地偏向于排名而非相关性，从而可能扭曲用户发现过程与系统公平性。