[论文解读] Inductive Graph Pattern Learning for Recommender Systems Based on a Graph Neural Network.

Muhan Zhang, Yixin Chen|arXiv (Cornell University)|Apr 26, 2019

Recommender Systems and Techniques参考文献 26被引用 6

一句话总结

本文提出归纳图-based矩阵补全（IGMC），一种基于图神经网络（GNN）的归纳矩阵补全模型，仅通过（用户，项目）评分对周围的1跳子图进行训练，学习用户和项目的表征，无需辅助信息即可实现最先进性能，并支持对未见过的用户/项目进行泛化，以及在新推荐任务中实现迁移。

ABSTRACT

We propose an inductive matrix completion model without using side information. By factorizing the (rating) matrix into the product of low-dimensional latent embeddings of rows (users) and columns (items), a majority of existing matrix completion methods are transductive, since the learned embeddings cannot generalize to unseen rows/columns or to new matrices. To make matrix completion inductive, most previous works use content (side information), such as user's age or movie's genre, to make predictions. However, high-quality content is not always available, and can be hard to extract. Under the extreme setting where not any side information is available other than the matrix to complete, can we still learn an inductive matrix completion model? In this paper, we propose an Inductive Graph-based Matrix Completion (IGMC) model to address this problem. IGMC trains a graph neural network (GNN) based purely on 1-hop subgraphs around (user, item) pairs generated from the rating matrix and maps these subgraphs to their corresponding ratings. It achieves highly competitive performance with state-of-the-art transductive baselines. In addition, IGMC is inductive -- it can generalize to users/items unseen during the training (given that their interactions exist), and can even transfer to new tasks. Our transfer learning experiments show that a model trained out of the MovieLens dataset can be directly used to predict Douban movie ratings with surprisingly good performance. Our work demonstrates that: 1) it is possible to train inductive matrix completion models without using side information while achieving similar or better performances than state-of-the-art transductive methods; 2) local graph patterns around a (user, item) pair are effective predictors of the rating this user gives to the item; and 3) Long-range dependencies might not be necessary for modeling recommender systems.

研究动机与目标

• 开发一种归纳矩阵补全模型，无需依赖辅助信息即可泛化到未见过的用户和项目。
• 探究在缺乏辅助信息的情况下，（用户，项目）对周围的局部图模式是否可作为评分的有效预测因子。
• 评估在极端数据稀缺场景下（仅提供评分矩阵）训练归纳推荐模型的可行性。
• 评估图神经网络（GNN）是否仅利用评分矩阵的结构信息即可捕捉相关用户-项目交互模式。
• 探究在协同过滤设置中，有效推荐建模是否需要建模长程依赖。

提出的方法

• 从评分矩阵中为每个（用户，项目）对构建以之为中心的1跳子图，捕捉其直接邻域交互。
• 通过消息传递聚合邻域信息，训练图神经网络（GNN）将每个1跳子图映射到其对应评分。
• 通过推理时处理子图，归纳式学习用户和项目嵌入，从而实现对之前未见过的用户或项目的预测。
• 采用一种处理子图结构和节点特征（如用户/项目ID）的GNN架构，以预测中心（用户，项目）对的评分。
• 采用对比学习目标，通过鼓励相似子图具有相似嵌入来提升表征质量。
• 通过在新数据集（如Douban）上微调预训练的GNN头部和新交互数据，实现迁移学习。

实验结果

研究问题

• RQ1 归纳矩阵补全模型是否能在不使用任何辅助信息的情况下实现具有竞争力的性能？
• RQ2 （用户，项目）对周围的局部1跳子图是否足以有效预测评分？
• RQ3 在不重新训练的情况下，基于GNN的模型是否能从一个推荐数据集泛化到另一个不同数据集？
• RQ4 在矩阵补全的协同过滤设置中，建模长程依赖是否对有效推荐建模是必要的？
• RQ5 在未见用户/项目上的零样本预测方面，该模型的归纳能力与归纳基线相比如何？

主要发现

• IGMC在无需辅助信息的情况下，性能可与最先进归纳矩阵补全方法相媲美或更优。
• 该模型在推理阶段能有效泛化到未见过的用户和项目，展现出真正的归纳偏差。
• 在MovieLens数据集上预训练的模型在未微调的情况下，对Douban电影评分数据集也表现出令人惊讶的强性能，表明其具备强大的可迁移性。
• 仅使用局部1跳子图即可实现高精度评分预测，表明长程依赖对有效推荐并非必要。
• 缺乏辅助信息并不会阻碍性能，因为IGMC在归纳和迁移学习设置中均优于或匹配归纳基线。
• 基于GNN的方法成功地直接从评分矩阵结构中学习到有意义的用户和项目表征，从而实现归纳泛化。