[论文解读] Adaptive Graph Convolutional Neural Networks

Ruoyu Li, Sheng Wang+2 more|arXiv (Cornell University)|Jan 10, 2018

Advanced Graph Neural Networks参考文献 23被引用 95

一句话总结

AGCN 通过训练残差图拉普拉斯矩阵和距离度量来学习任务特定的自适应图，从而在任意图结构上进行卷积，并实现性能和收敛性的提升。

ABSTRACT

Graph Convolutional Neural Networks (Graph CNNs) are generalizations of classical CNNs to handle graph data such as molecular data, point could and social networks. Current filters in graph CNNs are built for fixed and shared graph structure. However, for most real data, the graph structures varies in both size and connectivity. The paper proposes a generalized and flexible graph CNN taking data of arbitrary graph structure as input. In that way a task-driven adaptive graph is learned for each graph data while training. To efficiently learn the graph, a distance metric learning is proposed. Extensive experiments on nine graph-structured datasets have demonstrated the superior performance improvement on both convergence speed and predictive accuracy.

研究动机与目标

• 倡导图卷积神经网络处理不同的图结构，而非固定图。
• 提出一个谱图卷积层，它学习自适应、样本特定的图拉普拉斯矩阵。
• 引入距离度量学习来构建自适应图。
• 引入特征空间再参数化和残差图组件以提升学习效率。
• 在包含分子和点云的多个图结构数据集上展示出更优的性能。

提出的方法

• 引入 SGC-LL：一个通过距离度量学习自适应拉普拉斯的谱图卷积层。
• 使用马氏距离样式的距离 D(xi,xj) = sqrt((xi-xj)^T M (xi-xj))，其中 M = Wd Wd^T 作为可训练参数。
• 从学习到的度量和特征计算残差图拉普拉斯更新 L_res，并构造 \\tilde L = L + alpha L_res。
• 将谱滤波器 g_theta(L) 表示为更新后拉普拉斯矩阵的多项式，使用 Chebyshev 展开以提高效率。
• 应用特征空间变换 Y = U g_theta(L) U^T X，权重 W 和 b 可训练，用于嵌入顶点内/间特征。
• 采用逐层残差图更新，以便对拓扑和规模不同的图进行批量训练。

实验结果

研究问题

• RQ1 图卷积神经网络是否能够处理具有任意图结构和大小的数据，而不会因固定图而丢失信息？
• RQ2 学习每个样本的自适应图拉普拉斯是否能提高预测准确性和收敛速度？
• RQ3 距离度量学习是否能够有效地为给定任务定制图结构？
• RQ4 顶点特征的重新参数化是否提升图卷积的性能？
• RQ5 与现有图卷积网络相比，提出的 AGCN 在分子、点云和多任务毒性数据集上的表现如何？

主要发现

数据集	graphconv RMSE	NFP RMSE	GCN RMSE	AGCN RMSE
Delaney	0.4222 ± 8.38e-2	0.4955 ± 2.30e-3	0.4665 ± 2.07e-3	0.3061 ± 5.34e-3
Az-logD	0.7516 ± 8.42e-3	0.9597 ± 5.70e-3	1.0459 ± 3.92e-3	0.7362 ± 3.54e-3
NCI	0.8695 ± 3.55e-3	0.8748 ± 7.50e-3	0.8717 ± 4.14e-3	0.8647 ± 4.67e-3
Hydration-free energy	2.0329 ± 2.70e-2	3.4082 ± 3.95e-2	2.2868 ± 1.37e-2	1.3317 ± 2.73e-2

• AGCN 在多个数据集上优于最先进的图卷积网络，显示出更快的收敛和更高的预测准确性。
• 逐样本学习残差拉普拉斯 L_res 产生的图拓扑更有利于预测任务，且可能引入超出内在图的新边。
• 具有低参数成本的距离度量学习（O(d^2) 或 O(d)）使拓扑更新在计算上高效且与图规模无关。
• 由于共享特征变换和度量，模型支持对不同大小的多样图进行批量训练。
• 在 Delaney, Az-logD, NIH-NCI, Hydration-free energy, Tox21, ClinTox, Sider, Toxcast 和 Sydney 点云上的实验表明 AGCN 在回归、分类和多任务场景中具有广泛的有效性。
• 表1显示 AGCN 在若干分子数据集上取得比 graphconv、NFP 和 GCN 更低的 RMSE。