[论文解读] Dual-Primal Graph Convolutional Networks

Federico Monti, Oleksandr Shchur+4 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Graph Neural Networks参考文献 40被引用 36

一句话总结

本文提出双原始图卷积网络（DPGCNN），一种新颖的GCN架构，通过在原始图及其对偶图（线图）之间交替进行卷积操作，学习丰富的节点与边特征。通过利用对偶图实现的邻域感知边表示，DPGCNN实现了对GAT的泛化，并在节点分类、链接预测和图引导矩阵补全任务中取得最先进性能，且参数量增加极少。

ABSTRACT

In recent years, there has been a surge of interest in developing deep learning methods for non-Euclidean structured data such as graphs. In this paper, we propose Dual-Primal Graph CNN, a graph convolutional architecture that alternates convolution-like operations on the graph and its dual. Our approach allows to learn both vertex- and edge features and generalizes the previous graph attention (GAT) model. We provide extensive experimental validation showing state-of-the-art results on a variety of tasks tested on established graph benchmarks, including CORA and Citeseer citation networks as well as MovieLens, Flixter, Douban and Yahoo Music graph-guided recommender systems.

研究动机与目标

• 为解决图注意力机制忽略邻域上下文的局限性，通过引入对偶图信息加以改进。
• 开发一种GCN架构，通过同时利用原始图与对偶图，联合学习节点与边特征。
• 通过在消息传递中引入边级别上下文信息，提升节点分类、链接预测与矩阵补全任务的性能。
• 通过使注意力分数依赖于局部邻域结构，实现对GAT机制的泛化。

提出的方法

• 该方法在原始图与其对偶图之间交替执行图卷积操作，其中对偶图将边表示为节点。
• 通过在对偶图上应用注意力机制计算边特征，捕捉邻域感知的边重要性。
• 在对偶图上使用多头注意力机制计算注意力分数，使其依赖于局部邻域结构。
• 在原始图上采用四次多项式滤波器，并通过在对偶图上的消息传递学习边表示。
• 在矩阵补全任务中采用可分离的循环MGCNN框架，结合多图空间特征与基于RNN的序列预测。
• 对对偶图进行稀疏化处理，以降低计算成本，尤其适用于大规模数据集。

实验结果

研究问题

• RQ1 在原始图与对偶图上同时学习是否能提升图表示学习任务的性能？
• RQ2 引入邻域感知边特征对GCN中注意力机制的性能有何影响？
• RQ3 双原始-对偶卷积架构能否在标准基准上泛化并超越现有基于GAT的模型？
• RQ4 对偶图学习对推荐系统中矩阵补全任务有何影响？
• RQ5 与标准GCN相比，双原始-对偶方法是否需要显著更多的参数？

主要发现

• DPGCNN在CORA与Citeseer引文网络的节点分类任务中达到最先进性能。
• 在MovieLens数据集上，DPGCNN的RMSE为0.915，优于GAT（0.929）及其他基线方法。
• 在Flixster数据集上，DPGCNN的RMSE为0.902，超过GAT的0.931及其他方法。
• 在Douban与Yahoo Music数据集上，DPGCNN的RMSE分别为0.789与21.970，优于GAT与标准矩阵补全方法。
• 在MovieLens上，模型仅使用25K参数（GAT为23K），表明尽管性能提升，参数量增加极少。
• 表5确认，DPGCNN的参数量与GAT-MGCNN几乎相同，表明其参数效率高。