[论文解读] Collectively Embedding Multi-Relational Data for Predicting User Preferences

Nitish Gupta, Sameer Singh|arXiv (Cornell University)|Apr 23, 2015

Recommender Systems and Techniques参考文献 26被引用 6

一句话总结

本文提出了一种集体矩阵分解模型，通过将用户、物品以及关系数据（例如评论、类别、属性）联合嵌入到一个共享的低维空间中，以提升用户偏好预测的性能。通过在多种关系间学习共享嵌入，该模型有效整合了异构的、不完整的和嘈杂的证据，在Amazon和Yelp数据集上显著提升了评分预测的准确性，表现出优异的冷启动性能，并支持缺失数据的联合可视化与填补。

ABSTRACT

Matrix factorization has found incredible success and widespread application as a collaborative filtering based approach to recommendations. Unfortunately, incorporating additional sources of evidence, especially ones that are incomplete and noisy, is quite difficult to achieve in such models, however, is often crucial for obtaining further gains in accuracy. For example, additional information about businesses from reviews, categories, and attributes should be leveraged for predicting user preferences, even though this information is often inaccurate and partially-observed. Instead of creating customized methods that are specific to each type of evidences, in this paper we present a generic approach to factorization of relational data that collectively models all the relations in the database. By learning a set of embeddings that are shared across all the relations, the model is able to incorporate observed information from all the relations, while also predicting all the relations of interest. Our evaluation on multiple Amazon and Yelp datasets demonstrates effective utilization of additional information for held-out preference prediction, but further, we present accurate models even for the cold-starting businesses and products for which we do not observe any ratings or reviews. We also illustrate the capability of the model in imputing missing information and jointly visualizing words, categories, and attribute factors.

研究动机与目标

• 解决传统矩阵分解在处理不完整、嘈杂和异构关系数据用于推荐系统时的局限性。
• 开发一种通用的、与领域无关的方法，联合建模多种关系（例如评分、评论、类别、属性），而无需为每种数据类型定制模型。
• 提升用户和物品在观测评分较少或没有观测评分情况下的预测准确性，特别是在冷启动场景下。
• 在共享嵌入空间中实现对多种实体类型（例如词语、类别、属性）的联合推理与可视化。
• 通过利用所有关系之间的共享嵌入，支持关系数据中缺失值的填补。

提出的方法

• 该模型使用集体矩阵分解，为所有实体（用户、物品、词语、类别、属性）在多个关系中学习共享的低维嵌入。
• 将每种关系的预测建模为相关实体嵌入向量点积的逻辑/ sigmoid 函数。
• 使用随机梯度下降（SGD）优化模型参数，从而实现对大规模数据集的可扩展性。
• 该模型通过张量分解扩展至多值属性（作为多个二元关系）和n元关系，超越了二元关系的限制。
• 即使在任意观测关系中未直接连接的实体之间，也能在共享嵌入空间中直接计算实体相似度。
• 通过向数据库中添加新关系即可自然支持新数据类型的集成，而无需重新训练整个模型。

实验结果

研究问题

• RQ1 统一模型能否联合学习来自多样化、不完整和嘈杂的关系数据，从而在用户偏好预测方面超越传统矩阵分解？
• RQ2 该模型在预测无观测评分或评论的新物品或冷启动物品的偏好时效果如何？
• RQ3 该模型在填补关系数据中缺失值（如属性或类别）方面的效果如何？
• RQ4 学习到的嵌入能否实现语义上不同的实体类型（如词语、类别和属性）在共享空间中的有意义联合可视化？
• RQ5 该模型在Amazon和Yelp等大规模真实世界多关系数据集上的性能扩展性如何？

主要发现

• 通过有效利用评论、类别和属性等附加关系证据，该集体因子分解模型在用户偏好预测方面实现了显著的准确性提升。
• 该模型在冷启动场景中表现出色，能够准确预测无观测评分或评论的新商家和新产品。
• 该模型通过利用所有关系之间的共享嵌入，成功填补了关系数据中的缺失值，如未观测到的属性或类别。
• 在共享的二维嵌入空间中对类别、属性和评论词语进行联合可视化，揭示了有意义的语义聚类以及原始数据中不存在的隐含关系。
• 该模型在大规模真实世界数据集上表现出良好的可扩展性，在Amazon和Yelp的26个多关系数据集上均展现出稳健的性能。
• 通过张量分解和关系特定的潜在因子，该框架支持n元关系和多值关系的可扩展性，能够建模复杂的数据库模式。