[论文解读] Bilinear Graph Neural Network with Neighbor Interactions

Hongmin Zhu, Fuli Feng+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 39被引用 14

一句话总结

本文提出双线性图神经网络（BGNN），一种新颖的图神经网络框架，通过使用双线性聚合器显式建模邻近节点之间的成对交互，从而增强节点表征。通过结合线性聚合与双线性交互，BGNN在半监督节点分类任务上表现更优，在Cora、Citeseer和Pubmed数据集上相较于GCN和GAT分别实现了1.6%和1.5%的准确率提升。

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: https://github.com/zhuhm1996/bgnn.

研究动机与目标

• 解决现有图神经网络假设邻近节点相互独立、忽略其潜在交互的问题。
• 通过显式捕捉邻近节点之间的成对交互，改进节点表征学习。
• 设计一种双线性聚合器，兼具排列不变性与线性可扩展性，以确保模型的稳定性和效率。
• 通过将双线性聚合器集成到GCN和GAT架构中，构建两种BGNN变体——BGCN和BGAT。
• 在标准的半监督节点分类基准上验证BGNN的有效性。

提出的方法

• 提出一种双线性聚合器，利用可学习权重矩阵计算邻近节点表征之间的成对交互。
• 通过可学习融合参数α，将双线性聚合器与标准线性聚合（如GCN或GAT的注意力机制）相结合。
• 通过对所有邻居对进行对称处理，确保排列不变性，从而在邻居顺序变化时保持稳定性。
• 通过仅限制交互为成对组合而不进行高阶扩展，保持线性计算复杂度。
• 设计BGCN和BGAT作为BGNN的具体实例，将GCN和GAT中的原始聚合器替换为双线性增强版本。
• 引入一种多跳邻居聚合策略，通过第二个可学习参数β平衡一跳与两跳邻居的交互。

实验结果

研究问题

• RQ1 建模邻近节点之间的成对交互是否能提升图神经网络中的节点表征学习？
• RQ2 与标准线性聚合器相比，双线性聚合器在捕捉图数据中复杂非线性模式方面表现如何？
• RQ3 所提出的BGNN框架是否在增强表达能力的同时，保持排列不变性与线性计算复杂度？
• RQ4 双线性交互在稀疏连接节点或具有标签一致邻居的节点上，能在多大程度上提升性能？
• RQ5 线性与双线性聚合之间的最优平衡是什么？超参数α和β如何影响模型性能？

主要发现

• 在Cora、Citeseer和Pubmed数据集上，BGCN和BGAT相较于GCN和GAT分别实现了1.6%和1.5%的分类准确率提升。
• 双线性聚合器在稀疏连接节点上显著提升性能，表明其在低密度邻域中具有有效性。
• 当α被调优至远离0或1时，性能达到最优，表明双线性聚合器作为线性聚合的补充效果最佳。
• 同时引入一跳与两跳邻居的交互（通过β）可获得优于仅使用一跳邻居的性能，证实了多跳交互建模的优势。
• BGCN-T展现出更强的去噪能力，能正确分类具有标签一致邻居的节点，同时过滤掉来自不一致邻居的无关信息。
• 当邻居具有一致标签时，双线性聚合器尤为有效，表明其能捕捉超越单个特征的有意义结构模式。