[论文解读] A Distributed Collaborative Filtering Algorithm Using Multiple Data Sources

Mohamed Reda Bouadjenek, Esther Pacitti+3 more|arXiv (Cornell University)|Jul 16, 2018

Recommender Systems and Techniques参考文献 25被引用 4

一句话总结

本文提出了一种分布式协同过滤算法，通过矩阵分解整合多种异构数据源（如用户评分、社交网络、标签和用户兴趣），以提升推荐准确性。通过在分布式数据中心之间共享潜在特征矩阵而不传输原始数据，该方法在Delicious和Movielens数据集上优于现有最先进方法。

ABSTRACT

Collaborative Filtering (CF) is one of the most commonly used recommendation methods. CF consists in predicting whether, or how much, a user will like (or dislike) an item by leveraging the knowledge of the user's preferences as well as that of other users. In practice, users interact and express their opinion on only a small subset of items, which makes the corresponding user-item rating matrix very sparse. Such data sparsity yields two main problems for recommender systems: (1) the lack of data to effectively model users' preferences, and (2) the lack of data to effectively model item characteristics. However, there are often many other data sources that are available to a recommender system provider, which can describe user interests and item characteristics (e.g., users' social network, tags associated to items, etc.). These valuable data sources may supply useful information to enhance a recommendation system in modeling users' preferences and item characteristics more accurately and thus, hopefully, to make recommenders more precise. For various reasons, these data sources may be managed by clusters of different data centers, thus requiring the development of distributed solutions. In this paper, we propose a new distributed collaborative filtering algorithm, which exploits and combines multiple and diverse data sources to improve recommendation quality. Our experimental evaluation using real datasets shows the effectiveness of our algorithm compared to state-of-the-art recommendation algorithms.

研究动机与目标

• 通过利用社交网络、标签和用户兴趣等多样化辅助数据源，解决协同过滤中的数据稀疏性问题。
• 通过使用外部数据丰富用户和项目表示，解决新用户和新项目带来的冷启动问题。
• 设计一种分布式算法，通过避免数据中心之间的原始数据传输，实现在可扩展性与隐私保护之间的平衡。
• 将多种异构数据源整合到统一的矩阵分解框架中，以增强对用户偏好和项目特性的建模。
• 通过在真实世界数据集上与最先进方法的全面对比评估，证明所提方法的有效性。

提出的方法

• 采用矩阵分解来建模用户和项目的潜在特征，联合分解用户-项目评分矩阵与辅助数据矩阵（如社交信任度、标签、主题）。
• 在所有数据源之间共享一个通用的潜在用户特征矩阵，以实现跨源学习并保持用户表征的一致性。
• 设计一种分布式计算模型，使每个数据源在其对应的数据中心本地处理，仅交换中间潜在特征矩阵。
• 使用迭代优化（如SGD或类似方法）以协调方式在分布式环境中分解矩阵，最小化通信开销。
• 自适应地学习不同数据源（如可信好友）的权重，以反映其对用户偏好的相关性。
• 通过避免在数据中心之间传输原始用户或项目数据，确保隐私保护与可扩展性。

实验结果

研究问题

• RQ1 整合多种异构数据源（如评分、标签、社交网络）是否能提升协同过滤推荐的准确性？
• RQ2 如何在不将原始数据传输到数据中心之间的情况下，高效地结合多种数据源？
• RQ3 在异构数据源之间共享潜在特征矩阵对用户偏好和项目特性建模有何影响？
• RQ4 与现有的集中式和分布式矩阵分解方法相比，所提出的分布式算法在性能和可扩展性方面表现如何？
• RQ5 该方法在多大程度上通过辅助数据缓解了新用户和新项目的冷启动问题？

主要发现

• 所提出的分布式算法在Delicious和Movielens数据集上始终优于大多数最先进推荐方法。
• 与单一数据源或仅基于评分的方法相比，整合社交网络、标签和用户兴趣等多种数据源显著提升了推荐准确性。
• 即使在数据稀疏的场景下，该方法仍能保持高性能，有效缓解了新用户和新项目的冷启动问题。
• 分布式设计通过仅交换潜在特征矩阵实现可扩展计算，避免了原始数据传输，保护了隐私。
• 仅Matchbox和HeteroMF在Movielens数据集上略胜于所提方法，表明其具有强大的竞争力。
• 对不同数据源（如可信好友）的自适应加权机制增强了对用户口味多样性的建模，从而提升了推荐质量。