[论文解读] Combinations of Jaccard with Numerical Measures for Collaborative Filtering Enhancement: Current Work and Future Proposal

Ali A. Amer, Loc Nguyen|arXiv (Cornell University)|Jan 1, 2021

Recommender Systems and Techniques参考文献 29被引用 5

一句话总结

本文提出了一种新颖的混合相似度度量方法，将Jaccard（捕捉评分存在性）与余弦和皮尔逊相关系数等数值度量（捕捉评分大小）相结合，以提升协同过滤的性能。在MovieLens数据集上的评估显示，组合度量方法在关键指标上均优于所有单一相似度度量，证明了整合存在性与大小信息可显著提高推荐准确性。

ABSTRACT

Collaborative filtering (CF) is an important approach for recommendation system which is widely used in a great number of aspects of our life, heavily in the online-based commercial systems. One popular algorithms in CF is the K-nearest neighbors (KNN) algorithm, in which the similarity measures are used to determine nearest neighbors of a user, and thus to quantify the dependency degree between the relative user/item pair. Consequently, CF approach is not just sensitive to the similarity measure, yet it is completely contingent on selection of that measure. While Jaccard - as one of those commonly used similarity measures for CF tasks - concerns the existence of ratings, other numerical measures such as cosine and Pearson concern the magnitude of ratings. Particularly speaking, Jaccard is not a dominant measure, but it is long proven to be an important factor to improve any measure. Therefore, in our continuous efforts to find the most effective similarity measures for CF, this research focuses on proposing new similarity measure via combining Jaccard with several numerical measures. The combined measures would take the advantages of both existence and magnitude. Experimental results on, Movie-lens dataset, showed that the combined measures are preeminent outperforming all single measures over the considered evaluation metrics.

研究动机与目标

• 为解决单一相似度度量在协同过滤中的局限性，将Jaccard对共同评分项目存在性的关注与数值度量对评分大小的敏感性相结合。
• 通过实证验证混合度量是否在推荐准确性上优于独立的Jaccard、余弦和皮尔逊相关系数。
• 为未来开发包含多达90种相似度度量的综合性CF框架奠定基础，以应对数据稀疏性及用户/项目相关性问题。
• 探索将CNN、SVM和word2vec等AI技术与相似度度量结合，以进一步提升协同过滤性能。

提出的方法

• 通过将Jaccard与余弦和皮尔逊相关系数（PCC）结合，提出新的相似度度量，形成如余弦+Jaccard和PCC+Jaccard等混合形式。
• 采用线性组合方法，使最终的相似度得分同时整合Jaccard的集合重叠与数值度量的数值相似性。
• 在K近邻（KNN）算法中应用所提出的混合度量，以识别相似用户/项目并进行评分预测。
• 采用标准评估指标，包括MAE、RMSE、精确率、召回率和F1，评估在MovieLens数据集上的性能。
• 设计一个未来框架，包含多达90种相似度度量，并将CNN、SVM和MNB等AI模型与相似度计算相结合。
• 计划使用word2vec（CBOW和Skip-gram）及情感分析，以丰富相似度模型中用户和项目的表征。

实验结果

研究问题

• RQ1 将Jaccard与数值相似度度量（如余弦、PCC）结合，是否能比单独使用任一方法获得更高的推荐准确性？
• RQ2 在真实世界数据集上，混合度量在MAE、RMSE、精确率和F1等不同评估指标上的表现如何？
• RQ3 在数据稀疏环境下，通过Jaccard引入评分存在性信息，能在多大程度上提升数值度量的鲁棒性？
• RQ4 能否系统性地开发并评估一个包含90余种度量的综合性相似度度量框架，以实现对数据稀疏性的可扩展性与适应性？

主要发现

• 混合相似度度量（将Jaccard与余弦或PCC结合）在MovieLens数据集的所有评估指标上均持续优于所有单一相似度度量。
• 所提出的组合度量在MAE、RMSE、精确率、召回率和F1方面表现出更优性能，表明推荐准确性和鲁棒性得到提升。
• 特定组合如PSSIJ和PSSJ在精确率上从r=0.1到r=0.6的范围内表现增强，表明其在不同评分阈值下具有良好的泛化能力。
• 研究证实，Jaccard对提升数值度量具有显著贡献，尤其在处理数据稀疏性和增强预测可靠性方面。
• 结果支持假设：整合评分存在性与大小信息，可实现更有效的KNN-based协同过滤中的邻居选择。