[论文解读] Challenging the Long Tail Recommendation

Hongzhi Yin, Bin Cui+3 more|arXiv (Cornell University)|May 30, 2012

Recommender Systems and Techniques参考文献 21被引用 10

一句话总结

本文提出了一种基于图的推荐框架，利用 hitting time、absorbing time 和熵偏差吸收成本来提升长尾物品的推荐效果。通过将用户-物品交互建模为加权边图，该方法能有效识别出与用户高度相关的冷门物品，在 Douban 和 Movielens 等真实数据集上，其在准确性、多样性与新颖性方面均优于当前最先进技术。

ABSTRACT

The success of "infinite-inventory" retailers such as Amazon.com and Netflix has been largely attributed to a "long tail" phenomenon. Although the majority of their inventory is not in high demand, these niche products, unavailable at limited-inventory competitors, generate a significant fraction of total revenue in aggregate. In addition, tail product availability can boost head sales by offering consumers the convenience of "one-stop shopping" for both their mainstream and niche tastes. However, most of existing recommender systems, especially collaborative filter based methods, can not recommend tail products due to the data sparsity issue. It has been widely acknowledged that to recommend popular products is easier yet more trivial while to recommend long tail products adds more novelty yet it is also a more challenging task. In this paper, we propose a novel suite of graph-based algorithms for the long tail recommendation. We first represent user-item information with undirected edge-weighted graph and investigate the theoretical foundation of applying Hitting Time algorithm for long tail item recommendation. To improve recommendation diversity and accuracy, we extend Hitting Time and propose efficient Absorbing Time algorithm to help users find their favorite long tail items. Finally, we refine the Absorbing Time algorithm and propose two entropy-biased Absorbing Cost algorithms to distinguish the variation on different user-item rating pairs, which further enhances the effectiveness of long tail recommendation. Empirical experiments on two real life datasets show that our proposed algorithms are effective to recommend long tail items and outperform state-of-the-art recommendation techniques.

研究动机与目标

• 解决传统协同过滤因数据稀疏性而忽略长尾物品的挑战。
• 通过将用户-物品交互建模为无向加权图，提升推荐的多样性与准确性。
• 开发优先考虑冷门物品的算法，同时保持与用户偏好的强一致性。
• 通过实证实验与用户研究，评估所提方法在推荐质量、新颖性与意外性方面的有效性。

提出的方法

• 将用户-物品交互表示为无向加权图，以建模用户偏好与物品间关系。
• 以 Hitting Time 算法作为理论基础，识别可通过用户偏好路径到达的长尾物品。
• 引入 Absorbing Time 算法，通过测量到达偏好物品的期望时间，提升推荐的多样性与准确性。
• 通过引入熵偏差吸收成本，对 Absorbing Time 算法进行优化，以更好区分评分对的差异，提升推荐精度。
• 采用子图探索策略以降低计算成本，避免全局图扫描。
• 使用真实世界数据集（Douban 和 Movielens）验证方法，并与 LDA、PureSVD 和 DPPR 进行对比。

实验结果

研究问题

• RQ1 在数据稀疏性背景下，基于图的方法（如 Hitting Time 和 Absorbing Time）是否能有效推荐长尾物品？
• RQ2 与传统协同过滤相比，Absorbing Time 算法在推荐多样性与准确性方面有何提升？
• RQ3 在吸收成本中引入熵偏差，在多大程度上增强了对用户-物品评分对的区分能力？
• RQ4 与 LDA 和 PureSVD 等最先进模型相比，所提算法在性能与效率方面表现如何？
• RQ5 在现实世界中，长尾推荐对用户满意度、新颖性与意外性的影响如何？

主要发现

• AC2 算法在 Douban 数据集上的运行时间为 0.52 秒，效率与 LDA 和 PureSVD 相当，且优于基于图的 DPPR 算法。
• 用户研究结果显示，AC2 的平均综合得分为 4.41，显著高于 DPPR 的 3.65，表明其与用户偏好的匹配度更高。
• AC2 的新颖性得分为 0.98，意味着 98% 的推荐物品是用户此前未知的，展现出强大的意外性与对长尾物品的关注。
• 与 LDA 和 PureSVD 相比，AC2 推荐的长尾物品显著更多，分别仅有 6.4% 和 6.6% 的推荐是用户已知的。
• 带有熵偏差的吸收成本通过更好地区分评分对的差异，提升了推荐质量，增强了对冷门物品的发现精度。
• 所提方法在推荐准确性和多样性方面均优于当前最先进技术，尤其在识别低热度但高相关性的物品方面表现突出。