[论文解读] COIN: Co-Cluster Infomax for Bipartite Graphs

Baoyu Jing, Yuchen Yan+2 more|arXiv (Cornell University)|May 31, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

COIN 提出了一种用于二分图的新型自监督学习框架，通过最大化两类节点共聚类之间的互信息来增强节点嵌入。与以往通过神经网络估计互信息的方法不同，COIN 直接计算互信息，实现了端到端可微分的共聚类，从而在链接预测、推荐和聚类任务中提升了性能。

ABSTRACT

Bipartite graphs are powerful data structures to model interactions between two types of nodes, which have been used in a variety of applications, such as recommender systems, information retrieval, and drug discovery. A fundamental challenge for bipartite graphs is how to learn informative node embeddings. Despite the success of recent self-supervised learning methods on bipartite graphs, their objectives are discriminating instance-wise positive and negative node pairs, which could contain cluster-level errors. In this paper, we introduce a novel co-cluster infomax (COIN) framework, which captures the cluster-level information by maximizing the mutual information of co-clusters. Different from previous infomax methods which estimate mutual information by neural networks, COIN could easily calculate mutual information. Besides, COIN is an end-to-end coclustering method which can be trained jointly with other objective functions and optimized via back-propagation. Furthermore, we also provide theoretical analysis for COIN. We theoretically prove that COIN is able to effectively increase the mutual information of node embeddings and COIN is upper-bounded by the prior distributions of nodes. We extensively evaluate the proposed COIN framework on various benchmark datasets and tasks to demonstrate the effectiveness of COIN.

研究动机与目标

• 解决现有自监督方法在二分图上仅关注实例级对比学习而忽略聚类级结构的局限性。
• 通过将共聚类信息融入学习目标，提升节点嵌入质量。
• 开发一种可微分的端到端共聚类框架，可与其它目标通过反向传播联合优化。
• 理论上分析共聚类互信息与节点嵌入互信息之间的关系，基于图上的先验分布建立上界。
• 在真实世界基准数据集上，通过多种下游任务（包括链接预测、推荐和聚类）证明 COIN 的有效性。

提出的方法

• 提出一种共聚类互信息最大化（COIN）框架，联合学习二分图中两类节点的节点嵌入与共聚类。
• 通过互信息的闭式计算直接最大化用户（U）与物品（V）共聚类之间的互信息，避免使用神经网络估计。
• 使用神经网络生成两类节点的聚类分配，实现通过反向传播的可微分优化。
• 将目标函数表述为最大化互信息 I(ϕ_U(U); ϕ_V(V))，其中 ϕ_U 和 ϕ_V 分别为 U 和 V 的聚类函数。
• 将 COIN 作为可微分模块集成，可与链接预测或重构等其它目标联合训练。
• 理论分析表明，最大化共聚类互信息可提升节点嵌入之间的互信息，且其上界由图上的先验分布决定。

实验结果

研究问题

• RQ1 在二分图中，最大化两类节点共聚类之间的互信息是否能提升节点嵌入的质量？
• RQ2 在共聚类中直接计算互信息是否在可靠性与性能上优于基于神经网络的估计方法？
• RQ3 能否使共聚类目标可微分，并集成到与其他学习目标联合优化的端到端训练流程中？
• RQ4 在链接预测和推荐等下游任务中，COIN 与现有自监督和对比学习方法相比表现如何？
• RQ5 COIN 中互信息最大化具有哪些理论保证，特别是关于上界和收敛性质的分析？

主要发现

• COIN 通过捕捉聚类级结构显著提升了节点嵌入质量，相较于实例级对比基线方法，在下游任务中表现更优。
• COIN 中互信息的直接计算避免了基于神经网络的互信息估计器常见的不稳定性和估计误差。
• 在多个基准数据集上，COIN 在链接预测、推荐和聚类任务中均取得了最先进或具有竞争力的结果。
• 理论分析证实，最大化共聚类互信息可提升节点嵌入之间的互信息，验证了该方法设计的合理性。
• 共聚类的互信息由图上的先验分布所上界限定，为方法的收敛性提供了理论基础。
• COIN 支持端到端训练，可与其它可微分目标联合优化，支持灵活集成到现有图神经网络流水线中。