[论文解读] Directional Graph Networks

Dominique Beaini, Saro Passaro+4 more|arXiv (Cornell University)|Oct 6, 2020

Graph Theory and Algorithms参考文献 42被引用 10

一句话总结

本文提出了方向图网络（DGNs），一种新颖的图神经网络（GNN）框架，利用图拉普拉斯矩阵的特征向量定义全局一致的方向性流动，实现各向异性的消息传递。通过将节点消息沿这些方向场进行投影，DGNs 实现了更优的表达能力——在 1-WL 测试下被证明比标准 GNN 更具区分性——并减少了过平滑问题，在 ZINC 和 CIFAR10 等基准数据集上实现了 8–32% 的误差降低，达到当前最优性能。

ABSTRACT

The lack of anisotropic kernels in graph neural networks (GNNs) strongly limits their expressiveness, contributing to well-known issues such as over-smoothing. To overcome this limitation, we propose the first globally consistent anisotropic kernels for GNNs, allowing for graph convolutions that are defined according to topologicaly-derived directional flows. First, by defining a vector field in the graph, we develop a method of applying directional derivatives and smoothing by projecting node-specific messages into the field. Then, we propose the use of the Laplacian eigenvectors as such vector field. We show that the method generalizes CNNs on an $n$-dimensional grid and is provably more discriminative than standard GNNs regarding the Weisfeiler-Lehman 1-WL test. We evaluate our method on different standard benchmarks and see a relative error reduction of 8% on the CIFAR10 graph dataset and 11% to 32% on the molecular ZINC dataset, and a relative increase in precision of 1.6% on the MolPCBA dataset. An important outcome of this work is that it enables graph networks to embed directions in an unsupervised way, thus allowing a better representation of the anisotropic features in different physical or biological problems.

研究动机与目标

• 为解决标准 GNN 中各向同性（对称）核的局限性，其限制了表达能力并导致过平滑问题。
• 开发一种在任意图中全局一致地定义方向流动的方法，类似于图像中的水平/垂直方向。
• 在不依赖边特征或局部结构的情况下，实现在图中的方向性消息传递与滤波。
• 证明 DGNs 在 1-WL 测试下比标准 GNN 更具表达能力。
• 在标准基准上实证验证 DGNs，显示其性能更优且对过平滑具有更强鲁棒性。

提出的方法

• 利用图拉普拉斯矩阵的低频特征向量的梯度定义方向流动，这些特征向量捕捉了全局结构与扩散方向。
• 通过方向导数或平滑操作，将节点消息投影到这些方向场中，实现各向异性的聚合。
• 将图拉普拉斯矩阵的特征向量用作向量场，以推广网格图中水平与垂直流动的概念。
• 通过沿特征向量方向的行走组合构建方向性卷积核，推广网格上 CNN 的核结构。
• 实现方向性聚合器，根据邻居对目标节点处向量场方向的对齐程度加权其贡献。
• 利用特征向量梯度在整张图上定义一致的、无监督的方向偏差。

实验结果

研究问题

• RQ1 能否仅基于图结构，以全局一致的方式定义各向异性的图卷积？
• RQ2 能否在 GNN 中通过方向性消息传递实现超越 1-WL 测试的表达能力？
• RQ3 能否从拉普拉斯特征向量导出的方向流动推广到网格结构图上的类似 CNN 的方向滤波？
• RQ4 方向性消息传递是否能缓解 GNN 中的过平滑问题？
• RQ5 DGNs 是否能在不依赖边特征的情况下，在标准图基准上实现最先进性能？

主要发现

• DGNs 广义化了 n 维网格上所有半径 R 的卷积核，证明其在结构化设置下可模拟 CNN。
• 在 1-WL 测试下，DGNs 被证明比标准 GNN 表达能力更强，表现为能区分在 1-WL 测试下无法区分的图。
• 在 CIFAR10 图数据集上，DGNs 相较于基线 GNN 实现了 8% 的相对误差降低。
• 在分子 ZINC 数据集上，DGNs 在不同架构与设置下均实现了 11–32% 的相对误差降低。
• 在 MolPCBA 数据集上，DGNs 实现了 1.6% 的相对精度提升，凸显其在具有挑战性的分子性质预测任务中的性能改进。
• 方向导数聚合器是性能提升的主要贡献因素，表明其能有效捕捉图中方向性、高频信号。