[论文解读] LiRa: A New Likelihood-Based Similarity Score for Collaborative Filtering

Veronika Strnadová-Neeley, Aydın Buluç+3 more|arXiv (Cornell University)|Aug 30, 2016

Recommender Systems and Techniques参考文献 14被引用 4

一句话总结

LiRa 是一种基于似然的相似度评分方法，专为协同过滤设计，通过统计聚类框架建模用户相似性，在稀疏、高维的推荐系统数据中显著优于传统的皮尔逊相关系数和余弦相似度方法，能更准确地识别相似用户。它在基于 kNN 的评分预测中实现了更低的平均绝对误差（MAE），尤其在低 k 值时表现更优，展现出更高的准确性和可扩展性。

ABSTRACT

Recommender system data presents unique challenges to the data mining, machine learning, and algorithms communities. The high missing data rate, in combination with the large scale and high dimensionality that is typical of recommender systems data, requires new tools and methods for efficient data analysis. Here, we address the challenge of evaluating similarity between two users in a recommender system, where for each user only a small set of ratings is available. We present a new similarity score, that we call LiRa, based on a statistical model of user similarity, for large-scale, discrete valued data with many missing values. We show that this score, based on a ratio of likelihoods, is more effective at identifying similar users than traditional similarity scores in user-based collaborative filtering, such as the Pearson correlation coefficient. We argue that our approach has significant potential to improve both accuracy and scalability in collaborative filtering.

研究动机与目标

• 解决在存在大量缺失评分的高稀疏性、离散值、高维推荐系统数据中识别相似用户所面临的挑战。
• 开发一种相似度评分方法，能在稀疏环境下更准确地捕捉用户相似性，优于传统的皮尔逊相关系数和余弦相似度。
• 在真实世界和合成数据设置下评估 LiRa 的有效性，特别是其检测用户行为聚类的能力。
• 建立一种具有统计基础的用户相似性方法，支持基于用户的协同过滤在准确性和可扩展性方面的平衡。
• 探索基于似然比的模型作为大规模推荐系统中高效且准确的相似度计算基础的潜力。

提出的方法

• LiRa 基于一个统计模型，假设用户属于潜在聚类，相似用户共享相同的评分分布。
• 它通过比较联合聚类模型与独立用户模型下共同评分项目的概率，计算似然比。
• 核心公式计算在假设用户相似性（聚类模型）与独立性下，观察到共同评分项目时的对数似然比。
• 该方法假设同一聚类中的用户具有相关的评分，并利用最大似然估计评估相似性的合理性。
• 其设计具有计算高效性和可扩展性，避免了某些替代方法所需的全部用户对之间相似度计算。
• 该方法在 MovieLens 1M 数据集和具有已知聚类结构的合成数据上，通过基于 kNN 的预测进行了评估。

实验结果

研究问题

• RQ1 在高稀疏性条件下，LiRa 与传统的相似度评分方法（如皮尔逊相关系数和余弦相似度）相比，在识别相似用户方面表现如何？
• RQ2 基于似然比的模型能否有效检测稀疏、离散值推荐系统数据中的用户聚类？
• RQ3 LiRa 是否能提升基于用户的协同过滤中的评分预测准确性，尤其是在低 k 值和冷启动场景下？
• RQ4 LiRa 的性能在不同数据稀疏度水平和聚类结构下如何变化？
• RQ5 基于似然的相似度评分能否同时提升大规模协同过滤系统中的准确性和可扩展性？

主要发现

• 在 MovieLens 1M 数据集上，LiRa 在所有测试的 k 值下均实现了最低的平均绝对误差（MAE），优于皮尔逊相关系数和余弦相似度。
• LiRa 与其他相似度评分方法之间的性能差距在低 k 值时最为显著，表明其在数据有限时更擅长识别真正相似的用户。
• 在具有已知聚类结构的合成数据中，LiRa 成功检测到用户的行为聚类，证实其对潜在相似性模式的高度敏感性。
• LiRa 在冷启动场景中表现出色，某些配置下优于巴氏系数，尽管后者计算成本更高。
• 似然比框架为相似度提供了统计上合理的依据，在稀疏数据中比相关性或余弦相似度更具鲁棒性。
• LiRa 在提升基于用户的协同过滤的准确性和可扩展性方面展现出巨大潜力，尤其是在集成到基于 kNN 的预测流程中时。