[论文解读] LanczosNet: Multi-Scale Deep Graph Convolutional Networks

Renjie Liao, Zhizhen Zhao+2 more|arXiv (Cornell University)|Jan 6, 2019

Advanced Graph Neural Networks参考文献 41被引用 140

一句话总结

LanczosNet 通过 Lanczos 算法构建图拉普拉斯矩阵的低秩近似，以实现具有可学习谱滤波器的高效多尺度图卷积；AdaLanczosNet 通过 Lanczos 过程进行反向传播，用于学习图核或节点嵌入。

ABSTRACT

We propose the Lanczos network (LanczosNet), which uses the Lanczos algorithm to construct low rank approximations of the graph Laplacian for graph convolution. Relying on the tridiagonal decomposition of the Lanczos algorithm, we not only efficiently exploit multi-scale information via fast approximated computation of matrix power but also design learnable spectral filters. Being fully differentiable, LanczosNet facilitates both graph kernel learning as well as learning node embeddings. We show the connection between our LanczosNet and graph based manifold learning methods, especially the diffusion maps. We benchmark our model against several recent deep graph networks on citation networks and QM8 quantum chemistry dataset. Experimental results show that our model achieves the state-of-the-art performance in most tasks. Code is released at: \url{https://github.com/lrjconan/LanczosNetwork}.

研究动机与目标

• 在图卷积网络中激发有效的多尺度信息提取。
• 提供一种可扩展的方法，在不进行高功耗计算的情况下计算多尺度图扩散。
• 在 Lanczos 框架中引入可学习的谱滤波器。
• 提供一个通过 Lanczos 过程进行反向传播以学习图核或节点嵌入的变体。

提出的方法

• 使用 Lanczos 算法获得近似于亲和矩阵 S 的低秩近似 S ≈ Q T Q^T。
• 通过从 Lanczos 分解中的 Ritz 值/向量 (r_i, v_i) 学习函数来构建谱滤波器，利用 MLP 实现可学习的谱滤波。
• 通过在一个可微分网络中，将短尺度（通过 S 的幂次）和长尺度（通过学习的谱滤波）组件结合，形成多尺度图卷积。
• 可选地，AdaLanczosNet 对 Lanczos 步骤进行反向传播，以学习图核或节点嵌入。
• 通过将谱滤波理解为作用于基于扩散映射的频率表示，将 LanczosNet 与扩散映射相关联。

实验结果

研究问题

• RQ1 基于 Lanczos 的低秩拉普拉斯近似是否能高效捕捉多尺度的图信息？
• RQ2 基于 Lanczos 近似的可学习谱滤波器是否能在固定谱滤波器上带来性能提升？
• RQ3 通过 Lanczos 过程进行反向传播（AdaLanczosNet）是否通过学习图核或节点嵌input嵌入带来可观的提升？
• RQ4 在标准基准如引用网络和 QM8 上，LanczosNet 与最先进的图网络相比的表现如何？

主要发现

数据集 / 拆分	GCN-FP	GGNN	DCNN	ChebyNet	GCN	MPNN	GraphSAGE	GAT	LNet	AdaLNet
Cora Public	74.6 ± 0.7	77.6 ± 1.7	79.7 ± 0.8	78.0 ± 1.2	80.5 ± 0.8	78.0 ± 1.1	74.5 ± 0.8	82.6 ± 0.7	79.5 ± 1.8	80.4 ± 1.1
Cora 3%	71.7 ± 2.4	73.1 ± 2.3	76.7 ± 2.5	62.1 ± 6.7	74.0 ± 2.8	72.0 ± 4.6	64.2 ± 4.0	56.8 ± 7.9	76.3 ± 2.3	77.7 ± 2.4
Cora 1%	59.6 ± 6.5	60.5 ± 7.1	66.4 ± 8.2	44.2 ± 5.6	61.0 ± 7.2	56.7 ± 5.9	49.0 ± 5.8	48.6 ± 8.0	66.1 ± 8.2	67.5 ± 8.7
Cora 0.5%	50.5 ± 6.0	48.2 ± 5.7	59.0 ± 10.7	33.9 ± 5.0	52.9 ± 7.4	46.5 ± 7.5	37.5 ± 5.4	41.4 ± 6.9	58.1 ± 8.2	60.8 ± 9.0
Citeseer Public	61.5 ± 0.9	64.6 ± 1.3	69.4 ± 1.3	70.1 ± 0.8	68.1 ± 1.3	64.0 ± 1.9	67.2 ± 1.0	72.2 ± 0.9	66.2 ± 1.9	68.7 ± 1.0
Citeseer 1%	54.3 ± 4.4	56.0 ± 3.4	62.2 ± 2.5	59.4 ± 5.4	58.3 ± 4.0	54.3 ± 3.5	51.0 ± 5.7	46.5 ± 9.3	61.3 ± 3.9	63.3 ± 1.8
Citeseer 0.5%	43.9 ± 4.2	44.3 ± 3.8	53.1 ± 4.4	45.3 ± 6.6	47.7 ± 4.4	41.8 ± 5.0	33.8 ± 7.0	38.2 ± 7.1	53.2 ± 4.0	53.8 ± 4.7
Citeseer 0.3%	38.4 ± 5.8	36.5 ± 5.1	44.3 ± 5.1	39.3 ± 4.9	39.2 ± 6.3	36.0 ± 6.1	25.7 ± 6.1	30.9 ± 6.9	44.4 ± 4.5	46.7 ± 5.6
Pubmed Public	76.0 ± 0.7	75.8 ± 0.9	76.8 ± 0.8	69.8 ± 1.1	77.8 ± 0.7	75.6 ± 1.0	76.8 ± 0.6	76.7 ± 0.5	78.3 ± 0.3	78.1 ± 0.4
Pubmed 0.1%	70.3 ± 4.7	70.4 ± 4.5	73.1 ± 4.7	55.2 ± 6.8	73.0 ± 5.5	67.3 ± 4.7	65.4 ± 6.2	59.6 ± 9.5	73.4 ± 5.1	72.8 ± 4.6
Pubmed 0.05%	63.2 ± 4.7	63.3 ± 4.0	66.7 ± 5.3	48.2 ± 7.4	64.6 ± 7.5	59.6 ± 4.0	53.0 ± 8.0	50.4 ± 9.7	68.8 ± 5.6	66.0 ± 4.5
Pubmed 0.03%	56.2 ± 7.7	55.8 ± 7.7	60.9 ± 8.2	45.3 ± 4.5	57.9 ± 8.1	53.9 ± 6.9	45.4 ± 5.5	50.9 ± 8.8	60.4 ± 8.6	61.0 ± 8.7

• LanczosNet 和 AdaLanczosNet 相较于 9 个最近的图网络，在若干任务上实现了最先进的性能。
• 基于 Lanczos 的低秩近似通过 Ritz 值为基础的谱滤波实现了多尺度信息的高效计算。
• 通过对 Ritz 值的 MLP 实现的可学习谱滤波提高了模型的容量，相比固定多项式滤波器。
• 通过对 Lanczos 步骤进行反向传播（AdaLanczosNet）为学习图核和/或节点嵌入提供了一个可微分的路径。