[论文解读] Learning Cross-Domain Representation with Multi-Graph Neural Network

Yi Ouyang, Bin Guo+4 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks参考文献 38被引用 14

一句话总结

本文提出深度多图嵌入（DMGE），一种多图神经网络，通过将多个相关领域中的用户行为数据融合到统一的多图结构中，学习跨领域的项目表征。通过利用图卷积网络和多梯度下降优化器，DMGE有效缓解了数据稀疏性问题，并在大规模真实世界数据集上的推荐与排序任务中优于当前最先进方法。

ABSTRACT

Learning effective embedding has been proved to be useful in many real-world problems, such as recommender systems, search ranking and online advertisement. However, one of the challenges is data sparsity in learning large-scale item embedding, as users' historical behavior data are usually lacking or insufficient in an individual domain. In fact, user's behaviors from different domains regarding the same items are usually relevant. Therefore, we can learn complete user behaviors to alleviate the sparsity using complementary information from correlated domains. It is intuitive to model users' behaviors using graph, and graph neural networks (GNNs) have recently shown the great power for representation learning, which can be used to learn item embedding. However, it is challenging to transfer the information across domains and learn cross-domain representation using the existing GNNs. To address these challenges, in this paper, we propose a novel model - Deep Multi-Graph Embedding (DMGE) to learn cross-domain representation. Specifically, we first construct a multi-graph based on users' behaviors from different domains, and then propose a multi-graph neural network to learn cross-domain representation in an unsupervised manner. Particularly, we present a multiple-gradient descent optimizer for efficiently training the model. We evaluate our approach on various large-scale real-world datasets, and the experimental results show that DMGE outperforms other state-of-art embedding methods in various tasks.

研究动机与目标

• 通过利用多个相关领域中的互补用户行为，解决单领域项目嵌入中的数据稀疏性问题。
• 克服现有图神经网络仅针对单图表示学习而设计的局限性。
• 开发一种无监督的多图神经网络框架，联合学习跨领域表征，无需依赖标注数据。
• 通过利用跨领域之间的结构与行为相关性，提升下游任务（如推荐与搜索排序）的项目嵌入质量。
• 设计一种高效的训练策略，采用多梯度下降优化器，以处理跨领域表征学习的多任务特性。

提出的方法

• 构建一个多图结构，其中节点代表项目，边代表来自不同领域用户行为序列中的项目共现关系。
• 构建具有多种边类型的多图，每种边类型对应一个独立的领域（例如，推荐、搜索），且共享同一组节点。
• 以图卷积网络（GCNs）作为主干网络，通过聚合每个领域子图中邻近节点的特征来学习节点嵌入。
• 通过多任务学习框架整合所有领域的表征，实现在不同领域间的信息迁移与联合优化。
• 使用多梯度下降优化器，通过同时更新多个领域中共享节点嵌入的参数，实现高效训练。
• 通过节点重建与邻域预测的无监督预训练，学习有意义的表征，而无需显式标签。

实验结果

研究问题

• RQ1 是否可以将多领域用户行为数据有效建模为多图结构，以改善项目表征学习？
• RQ2 如何将图神经网络扩展至联合学习多个具有共享节点的相互关联图（即领域）的表征？
• RQ3 通过多图学习实现的跨领域信息迁移，在多大程度上能缓解低活跃度领域中的数据稀疏性问题？
• RQ4 所提出的多图神经网络框架是否优于单领域图嵌入与现有跨领域推荐方法？
• RQ5 多梯度下降优化器在训练多图表征模型时，其效率与可扩展性如何？

主要发现

• DMGE在下游推荐与搜索排序任务中显著优于当前最先进单领域嵌入方法（如DeepWalk、node2vec和GCN）。
• 该模型在多个大规模真实世界数据集上均表现出一致的性能提升，展现出强大的鲁棒性与泛化能力。
• 通过多图学习实现的跨领域信息迁移有效缓解了数据稀疏性，尤其显著提升了在单一领域中交互历史有限的项目表征质量。
• 采用多梯度下降优化器可实现多任务模型的高效且稳定的训练，加快收敛速度并提升表征质量。
• 消融实验验证了多图结构与多任务学习目标对性能提升的必要性，证实了设计选择的有效性。
• 该模型在冷启动场景下具有良好泛化能力，显著提升了在任一单一领域中交互稀疏的项目嵌入质量。