[论文解读] Cascade-BGNN: Toward Efficient Self-supervised Representation Learning on Large-scale Bipartite Graphs

Chaoyang He, Tian Xie+5 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Graph Neural Networks参考文献 22被引用 8

一句话总结

Cascade-BGNN 提出了一种自监督、领域一致的图神经网络，用于在大规模二分图上高效地学习节点表示。它通过对抗性学习实现跨域消息传递（IDMP）和域内对齐（IDA），以建模跨分区和域内关系，通过级联训练实现深层、可扩展的多跳消息传递，在真实世界图上实现了最先进的性能，且内存占用低、训练速度快。

ABSTRACT

Bipartite graphs have been used to represent data relationships in many data-mining applications such as in E-commerce recommendation systems. Since learning in graph space is more complicated than in Euclidian space, recent studies have extensively utilized neural nets to effectively and efficiently embed a graph's nodes into a multidimensional space. However, this embedding method has not yet been applied to large-scale bipartite graphs. Existing techniques either cannot be scaled to large-scale bipartite graphs that have limited labels or cannot exploit the unique structure of bipartite graphs, which have distinct node features in two domains. Thus, we propose Cascade Bipartite Graph Neural Networks, Cascade-BGNN, a novel node representation learning for bipartite graphs that is domain-consistent, self-supervised, and efficient. To efficiently aggregate information both across and within the two partitions of a bipartite graph, BGNN utilizes a customized Inter-domain Message Passing (IDMP) and Intra-domain Alignment (IDA), which is our adaptation of adversarial learning, for message aggregation across and within partitions, respectively. BGNN is trained in a self-supervised manner. Moreover, we formulate a multi-layer BGNN in a cascaded training manner to enable multi-hop relationship modeling while improving training efficiency. Extensive experiments on several datasets of varying scales verify the effectiveness and efficiency of BGNN over baselines. Our design is further affirmed through theoretical analysis for domain alignment. The scalability of BGNN is additionally verified through its demonstrated rapid training speed and low memory cost over a large-scale real-world bipartite graph.

研究动机与目标

• 为解决在有限或无标签的情况下，大规模二分图中有效学习节点表示的挑战。
• 利用二分图中两个领域（如用户和商品）之间独特的特征分布差异，而标准 GNN 无法有效建模这些差异。
• 开发一种可扩展的自监督框架，避免现有方法在大规模图上面临的内存和计算瓶颈。
• 通过级联训练实现在保持训练效率和低内存使用的同时，实现多跳邻居聚合。
• 通过对抗性学习对每个分区内的特征分布进行对齐，确保学习表示的领域一致性。

提出的方法

• 跨域消息传递（IDMP）在二分图的两个分区之间聚合消息，实现用户节点与项目节点之间的跨域信息流动。
• 域内对齐（IDA）利用对抗性学习对齐每个分区内节点的特征分布，减少领域特异性偏差并提升表示一致性。
• 采用级联训练策略堆叠多个 BGNN 层，实现在不出现标准 GNN 中内存爆炸问题的前提下，进行深层多跳消息传递。
• 通过基于对抗性对齐的对比损失以自监督方式训练模型，无需节点标签或昂贵的采样过程。
• 通过仅处理小批量数据，避免将整个图加载到内存中，显著降低内存成本，实现大规模图上的可扩展性。
• 该方法设计为归纳式，通过利用前序层学习到的参数，可对之前未见过的节点进行推理。

实验结果

研究问题

• RQ1 自监督 GNN 框架能否在极少标签数据的情况下，有效学习大规模二分图中的节点表示？
• RQ2 如何缓解两个领域（如用户和项目）之间特征分布的不一致性，以提升表示质量？
• RQ3 级联训练能否在保持训练效率和低内存使用的同时，实现在二分图中的深层消息传递？
• RQ4 所提出的 IDMP 和 IDA 机制与标准 GNN 及基于随机游走的方法相比，在可扩展性和性能方面表现如何？
• RQ5 基于对抗性的域内对齐在多大程度上提升了节点嵌入的泛化能力和鲁棒性？

主要发现

• Cascade-BGNN 在多个大规模二分图基准数据集上实现了最先进性能，在节点分类和推荐等下游任务中优于现有的自监督和半监督 GNN。
• 该模型展现出卓越的可扩展性，在 Tencent 数据集上训练速度显著快于 GraphSAGE 和 AS-GCN，且训练时间和内存成本随图大小线性增长。
• 由于 Cascade-BGNN 每次仅处理一个小型批量，内存成本保持较低，避免了将整个图加载到内存中，而基线方法则不具备此优势。
• 级联训练策略降低了内存使用并防止了邻域无序扩张，使得深层模型在不降低性能的情况下得以实现。
• 基于对抗性的 IDA 损失消除了对昂贵采样或随机游走的需求，降低了自监督学习中的计算开销。
• 理论分析证实，IDA 确保了领域对齐，为模型的鲁棒性和泛化能力提供了坚实基础。