[论文解读] Bipartite Graph Embedding via Mutual Information Maximization

Jiangxia Cao, Xixun Lin+4 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Graph Neural Networks参考文献 42被引用 6

一句话总结

该论文提出BiGI，一种双分图嵌入方法，通过最大化局部边表示（通过子图级别注意力机制生成）与全局原型表示（从同质节点聚合得到）之间的互信息，捕捉全局图特性，如社区结构和长程依赖关系。BiGI在多个基准数据集上的top-K推荐和链接预测任务中均达到最先进性能。

ABSTRACT

Bipartite graph embedding has recently attracted much attention due to the fact that bipartite graphs are widely used in various application domains. Most previous methods, which adopt random walk-based or reconstruction-based objectives, are typically effective to learn local graph structures. However, the global properties of bipartite graph, including community structures of homogeneous nodes and long-range dependencies of heterogeneous nodes, are not well preserved. In this paper, we propose a bipartite graph embedding called BiGI to capture such global properties by introducing a novel local-global infomax objective. Specifically, BiGI first generates a global representation which is composed of two prototype representations. BiGI then encodes sampled edges as local representations via the proposed subgraph-level attention mechanism. Through maximizing the mutual information between local and global representations, BiGI enables nodes in bipartite graph to be globally relevant. Our model is evaluated on various benchmark datasets for the tasks of top-K recommendation and link prediction. Extensive experiments demonstrate that BiGI achieves consistent and significant improvements over state-of-the-art baselines. Detailed analyses verify the high effectiveness of modeling the global properties of bipartite graph.

研究动机与目标

• 解决现有双分图嵌入方法主要捕捉局部结构但无法保留同质节点的社区结构及异质节点间长程依赖等全局特性的局限性。
• 开发一种统一框架，显式建模双分图中的局部与全局图特性，这些特性在基于随机游走或重构的方法中常被忽略。
• 通过局部与全局表示之间的互信息最大化，提升下游任务（如top-K推荐和链接预测）的性能。
• 验证所提出的局部-全局互信息最大化目标在捕捉超越邻域范围的结构不变量方面的有效性。

提出的方法

• BiGI通过聚合一种节点类型（如用户或物品）的嵌入，构建两个原型向量，形成全局表示，从而实现对社区级结构的建模。
• 局部表示通过子图级别注意力机制生成，编码采样的边，并引入结构先验，以突出显著的子图模式。
• 提出一种新颖的局部-全局互信息最大化目标，以最大化局部边表示与全局原型表示之间的互信息，实现局部与全局语义的一致对齐。
• 该方法兼容多种GNN编码器（如VGAE、NGCF、PinSage），支持不同消息传递机制的即插即用式集成。
• 模型采用对比学习策略并结合负采样，通过图的损坏视图，利用可微分近似训练互信息目标。
• 谐波因子和损坏率是超参数，经调优以平衡互信息估计的稳定性和性能。

实验结果

研究问题

• RQ1 互信息最大化目标能否有效捕捉双分图中的全局结构特性，如同质节点间的社区？
• RQ2 所提方法在建模未直接连接的异质节点之间的长程依赖方面，其能力达到何种程度？
• RQ3 与标准邻域聚合相比，子图级别注意力机制如何提升局部表示学习？
• RQ4 局部-全局互信息最大化目标是否能在不同GNN架构和数据集上泛化？
• RQ5 模型对超参数选择（如损坏率和谐波因子）的鲁棒性如何？

主要发现

• BiGI在DBLP、Yelp和ML-100K等多个基准数据集的top-K推荐和链接预测任务中，持续且显著优于当前最先进基线方法。
• 在使用Calinski-Harabasz指数进行聚类分析时，BiGI在不同聚类数下均取得最高得分，证明其在用户和物品空间中揭示社区结构的能力更优。
• 在长程依赖建模方面，即使节点对之间相距7跳，BiGI仍保持高预测得分，显著优于所有基线方法，后者随距离增加而性能急剧下降。
• 消融实验表明，子图级别注意力机制显著提升了局部表示质量，且所提出的互信息最大化目标在不同编码器架构上均持续提升性能。
• BiGI对超参数变化具有鲁棒性，最优性能在低损坏率（β = 1e-5）和中等谐波因子（λ = 0.3）下实现，且在最差设置下仍优于基线方法。
• 将BiGI与VGAE、NGCF和PinSage结合，均带来显著性能提升，证实了局部-全局互信息最大化目标在多样化GNN架构中的通用性。