[论文解读] Learning Vertex Representations for Bipartite Networks

Ming Gao, Xiangnan He+4 more|arXiv (Cornell University)|Jan 16, 2019

Advanced Graph Neural Networks参考文献 47被引用 5

一句话总结

本文提出BiNE，一种通过建模显式链接和高阶隐式关系来学习二部图中顶点表征的新方法。它使用有偏随机游走生成器以保持长尾度分布，并采用联合优化框架对多个矩阵进行分解，在真实世界数据集上的链接预测和推荐任务中表现优于现有方法。

ABSTRACT

Recent years have witnessed a widespread increase of interest in network representation learning (NRL). By far most research efforts have focused on NRL for homogeneous networks like social networks where vertices are of the same type, or heterogeneous networks like knowledge graphs where vertices (and/or edges) are of different types. There has been relatively little research dedicated to NRL for bipartite networks. Arguably, generic network embedding methods like node2vec and LINE can also be applied to learn vertex embeddings for bipartite networks by ignoring the vertex type information. However, these methods are suboptimal in doing so, since real-world bipartite networks concern the relationship between two types of entities, which usually exhibit different properties and patterns from other types of network data. For example, E-Commerce recommender systems need to capture the collaborative filtering patterns between customers and products, and search engines need to consider the matching signals between queries and webpages.

研究动机与目标

• 为解决通用方法（如node2vec和LINE）在处理二部网络时对二部网络表征学习研究的不足。
• 保留二部网络中顶点的长尾度分布，该分布常因均匀随机游走策略而被扭曲。
• 联合建模同一类型顶点之间的显式（观测到的）和隐式（传递性）关系，以提升表征质量。
• 通过证明其等价于多种矩阵分解，为方法提供理论基础，增强可解释性。
• 在真实世界二部数据集上，通过链接预测、推荐和可视化任务的实证验证，证明BiNE的有效性。

提出的方法

• 设计了一种有偏且自适应的随机游走生成器，通过根据顶点度数调整其游走次数，并允许概率性终止游走而非固定长度，以生成保留长尾度分布的顶点序列。
• 提出一种联合优化框架，通过专用目标函数同时建模显式关系（观测边）和隐式关系（传递路径）。
• 通过理论证明，BiNE可被重述为涉及多个矩阵的闭式矩阵分解过程，从而与经典协同过滤模型建立联系。
• 该框架整合了结构信号和关系信号，使模型能够捕捉超越直接邻居的高阶接近性。
• 使用随机梯度下降在联合目标上进行优化，平衡显式与隐式关系学习。
• 该方法已实现并开源，代码可在GitHub上获取，以支持可复现性和功能扩展。

实验结果

研究问题

• RQ1 有偏随机游走策略是否比均匀随机游走更有效地保留二部网络中的长尾度分布？
• RQ2 联合建模显式与隐式关系是否能提升二部网络中顶点表征的质量？
• RQ3 所提方法能否在理论上与矩阵分解建立联系，从而提供可解释性和稳定性？
• RQ4 在真实世界二部数据集上的链接预测与推荐任务中，BiNE与最先进方法相比表现如何？
• RQ5 该方法能否泛化到动态或稀疏的二部网络，即使观测边数有限？

主要发现

• BiNE在五个真实世界二部网络数据集上的链接预测准确率上显著优于baseline方法（如node2vec、LINE和DeepWalk）。
• 该方法在top-N推荐任务中达到最先进性能，通过捕捉高阶接近性，显著提升了排序质量。
• 大量消融实验表明，同时建模显式与隐式关系相比仅考虑显式链接的模型，能带来可测量的性能提升。
• 理论分析表明，BiNE等价于多个矩阵的分解，提供了坚实的数学基础，并与经典协同过滤技术建立联系。
• 有偏随机游走生成器成功保留了长尾度分布，这对建模用户-项目交互等真实世界二部网络至关重要。
• 可视化结果表明，学习到的嵌入能够捕捉有意义的结构模式，如相似用户或项目的聚类，支持该方法的可解释性。