[论文解读] Exploring Choice Overload in Related-Article Recommendations in Digital Libraries

Felix Beierle, Akiko Aizawa+1 more|arXiv (Cornell University)|Apr 3, 2017

Recommender Systems and Techniques参考文献 11被引用 7

一句话总结

本研究通过分析在不同数量的推荐相关文章显示下点击率（CTR）的变化，调查了数字图书馆推荐系统中的选择过载问题。基于来自 Sowiport（340 万条推荐）的真实世界数据，研究发现随着推荐数量的增加，CTR 显著下降，当仅显示 1 个推荐时达到峰值（CTR ~0.35%），而当推荐数量从 1 增加到 10–11 个时，绝对点击量仅翻倍，表明用户在小规模推荐集合之外会经历选择过载。

ABSTRACT

We investigate the problem of choice overload - the difficulty of making a decision when faced with many options - when displaying related-article recommendations in digital libraries. So far, research regarding to how many items should be displayed has mostly been done in the fields of media recommendations and search engines. We analyze the number of recommendations in current digital libraries. When browsing fullscreen with a laptop or desktop PC, all display a fixed number of recommendations. 72% display three, four, or five recommendations, none display more than ten. We provide results from an empirical evaluation conducted with GESIS' digital library Sowiport, with recommendations delivered by recommendations-as-a-service provider Mr. DLib. We use click-through rate as a measure of recommendation effectiveness based on 3.4 million delivered recommendations. Our results show lower click-through rates for higher numbers of recommendations and twice as many clicked recommendations when displaying ten instead of one related-articles. Our results indicate that users might quickly feel overloaded by choice.

研究动机与目标

• 调查在数字图书馆中显示更多相关文章推荐是否会引发选择过载。
• 基于用户点击行为，确定应显示的推荐数量的最优值。
• 使用真实世界的点击率数据，评估不同大小推荐集合的有效性。
• 通过分析实证 CTR 趋势，挑战关于推荐集合大小的既有假设。
• 为学术数字图书馆的推荐系统设计提供数据驱动的洞见。

提出的方法

• 从使用 Mr. DLib 推荐即服务（RaaS）平台的数字图书馆 Sowiport 收集真实世界的点击率数据。
• 分析了在 1 至 15 个显示项目范围内交付的 340 万条推荐，以测量 CTR 和绝对点击数。
• 将 CTR 作为推荐有效性与用户满意度的代理指标。
• 比较不同推荐集合大小（1–15 项）下的 CTR 和绝对点击数。
• 在实际生产环境中进行实证评估，避免使用模拟或小规模用户研究。
• 在解释中考虑了重复推荐和会话时长等潜在混杂因素。

实验结果

研究问题

• RQ1 在数字图书馆中，显示的相关文章推荐数量如何影响用户的点击率？
• RQ2 在何种推荐集合大小下，选择过载开始降低用户参与度？
• RQ3 增加推荐数量是否能按比例提升点击数量？
• RQ4 CTR 和绝对点击数在不同推荐集合大小下如何变化？
• RQ5 真实世界的点击模式在多大程度上与关于推荐集合大小的理论预期相悖？

主要发现

• 当仅显示一个推荐时，点击率（CTR）最高，峰值约为 0.35%。
• 随着推荐数量增加，CTR 迅速下降，当显示 15 个推荐时降至最低点 0.14%。
• 随着推荐数量增加，绝对点击数仅略有增长，从 1 个推荐到 15 个推荐时，每千次推荐的点击数从 8.4 上升至 9.8，增幅为 17%。
• 要使绝对点击数翻倍（从 8.4 上升至 17），推荐集合大小必须从 1 增加到 10 或 11 项。
• 当显示 15 个推荐时，每千次推荐的点击数仅比显示 1 个推荐时高出 2.5 倍，表明增长呈非比例关系。
• 结果表明，用户在推荐数量超过少数几项后即出现选择过载，参与度回报递减。