[论文解读] MagNet: A Neural Network for Directed Graphs

Xitong Zhang, Yixuan He+3 more|PubMed|Feb 22, 2021

Advanced Graph Neural Networks参考文献 42被引用 48

一句话总结

MagNet 引入了用于有向图的谱GNN，利用磁拉普拉斯算子，在多数据集上实现了强的节点分类和边预测性能。

ABSTRACT

The prevalence of graph-based data has spurred the rapid development of graph neural networks (GNNs) and related machine learning algorithms. Yet, despite the many datasets naturally modeled as directed graphs, including citation, website, and traffic networks, the vast majority of this research focuses on undirected graphs. In this paper, we propose <i>MagNet</i>, a GNN for directed graphs based on a complex Hermitian matrix known as the magnetic Laplacian. This matrix encodes undirected geometric structure in the magnitude of its entries and directional information in their phase. A "charge" parameter attunes spectral information to variation among directed cycles. We apply our network to a variety of directed graph node classification and link prediction tasks showing that MagNet performs well on all tasks and that its performance exceeds all other methods on a majority of such tasks. The underlying principles of MagNet are such that it can be adapted to other GNN architectures.

研究动机与目标

• 推动原生处理有向图、而不对邻接矩阵进行对称化的图神经网络.
• 提出 MagNet，一种基于磁拉普拉斯的谱GNN，通过复相位对方向进行编码。
• 在不同数据集上展示 MagNet 在节点分类和边预测任务中的有效性。

提出的方法

• 使用复数 Hermitian 磁拉普拉斯算子 L^(q) 来通过相位编码边的幅值和方向。
• 定义以 L^(q) 的特征向量为基础的有向图傅里叶变换，并通过 Chebyshev 多项式近似进行谱卷积。
• 将 MagNet 实现为一个多层网络，包含复值卷积和复数 ReLU，随后展开为实值特征用于分类或边预测。
• 通过交叉验证在每个数据集上学习最优的 q 值，以平衡方向信息。
• 通过用磁拉普拉斯基的算子替换卷积矩阵，将该方法适配到不同的谱结构（如 ChebNet 风格的滤波器）。

实验结果

研究问题

• RQ1 如何在不进行对称化预处理的情况下，将谱图神经网络改造为适用于有向图？
• RQ2 通过磁拉普拉斯引入的方向性相信息是否能提升有向网络上的节点分类和边预测？
• RQ3 方向性参数 q 在不同数据集上的性能优化中起到的作用是什么？
• RQ4 MagNet 能否作为通用的有向图扩展，集成到现有的谱结构中？

主要发现

类型	方法	康奈尔	德克萨斯	威斯康星	Cora-ML	CiteSeer	电报
谱域	ChebNet	79.8 ± 5.0	79.2 ± 7.5	81.6 ± 6.3	80.0 ± 1.8	66.7 ± 1.6	70.2 ± 6.8
谱域	GCN	59.0 ± 6.4	58.7 ± 3.8	55.9 ± 5.4	82.0 ± 1.1	66.0 ± 1.5	73.4 ± 5.8
空间	APPNP	58.7 ± 4.0	57.0 ± 4.8	51.8 ± 7.4	82.6 ± 1.4	66.9 ± 1.8	67.3 ± 3.0
空间	SAGE	80.0 ± 6.1	84.3 ± 5.5	83.1 ± 4.8	82.3 ± 1.2	66.0 ± 1.5	56.6 ± 6.0
空间	GIN	57.9 ± 5.7	65.2 ± 6.5	58.2 ± 5.1	78.1 ± 2.0	63.3 ± 2.5	74.4 ± 8.1
空间	GAT	57.6 ± 4.9	61.1 ± 5.0	54.1 ± 4.2	81.9 ± 1.0	67.3 ± 1.3	72.6 ± 7.5
有向	DGCN	67.3 ± 4.3	71.7 ± 7.4	65.5 ± 4.7	81.3 ± 1.4	66.3 ± 2.0	90.4 ± 5.6
有向	Digraph	66.8 ± 6.2	64.9 ± 8.1	59.6 ± 3.8	79.4 ± 1.8	62.6 ± 2.2	82.0 ± 3.1
有向	DiGraphIB	64.4 ± 9.0	64.9 ± 13.7	64.1 ± 7.0	79.3 ± 1.2	61.1 ± 1.7	64.1 ± 7.0
This paper	MagNet	84.3 ± 7.0	83.3 ± 6.1	85.7 ± 3.2	79.8 ± 2.5	67.5 ± 1.8	87.6 ± 2.9

• MagNet 在六个节点分类任务中有五个达到最佳或第二佳表现。
• MagNet 在八个边预测任务中有七个达到最佳表现。
• 在真实数据集上，MagNet 往往优于谱型和时空型基线，以及无向变体。
• 通过交叉验证得到的 q 值显示，大多数数据集非零方向性有帮助，除了少数如某些引用网络中 q≈0 最优。
• MagNet 可以被视为 ChebNet 的磁拉普拉斯推广，并可适配到其他谱GNN 架构。