[论文解读] Bilinear Graph Neural Network with Node Interactions

Hongmin Zhu, Fuli Feng+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 22被引用 2

一句话总结

本文提出双线性图神经网络（BGNN），一种新颖的图神经网络框架，通过建模邻近节点之间的成对交互关系，超越传统加权求和聚合方式，增强节点表征学习能力。BGNN在半监督节点分类任务上表现更优，在公开基准数据集上相比GCN准确率提升1.6%，相比GAT提升1.5%。

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: this https URL.

研究动机与目标

• 为解决现有GNN假设邻近节点相互独立、忽略其潜在交互关系的局限性。
• 通过显式建模邻近节点特征之间的双线性交互关系，提升节点表征学习能力。
• 开发一种可泛化的图卷积算子，以增强GCN与GAT架构的性能。
• 在真实世界半监督节点分类任务中验证引入邻近节点交互关系的有效性。

提出的方法

• 提出一种新型图卷积算子，结合邻近节点特征的加权求和与成对双线性交互。
• 引入双线性交互模块，用于计算邻近节点表征对之间的交互得分。
• 将双线性操作改编为两种变体：基于GCN的BGCN与基于GAT的BGAT，同时保留其注意力与聚合机制。
• 使用可学习参数对双线性变换进行参数化，支持端到端训练。
• 将新型卷积层应用于可堆叠的GNN架构中，实现深层表征学习。
• 在标签稀疏的半监督节点分类任务中采用标准交叉熵损失函数。

实验结果

研究问题

• RQ1 在GNN中建模邻近节点之间的成对交互关系，是否能提升节点表征学习能力？
• RQ2 在半监督节点分类任务中，引入双线性交互关系对性能有何影响？
• RQ3 当邻近节点存在交互关系时，BGNN是否在基准数据集上优于标准GCN与GAT？
• RQ4 与简单聚合方法相比，BGNN对双线性交互机制设计的敏感性如何？
• RQ5 双线性机制是否能在GCN与GAT等不同GNN架构之间实现良好泛化？

主要发现

• BGNN在三个公开的半监督节点分类基准数据集上，显著提升了节点分类准确率，优于标准GCN与GAT。
• BGCN在相同基准数据集上相比GCN实现了1.6%的绝对准确率提升。
• BGAT在相同基准数据集上相比GAT实现了1.5%的绝对准确率提升。
• 性能提升表明，建模邻近节点交互关系能够捕捉标准GNN忽略的重要结构信号。
• 结果验证了邻近节点之间的双线性交互为图表示学习提供了有意义的归纳偏置。
• BGNN的代码（包括BGCN与BGAT）已公开，便于复现与进一步研究。