[论文解读] Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning

Pan Li, Yanbang Wang+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Graph Neural Networks参考文献 68被引用 98

一句话总结

引入距离编码（DE）以通过使用目标节点集的距离提升 GNN 的表达能力，超越 1-WL；提供具理论保证的 DE-GNN 和 DEA-GNN 框架，并在节点集任务上实现经验性提升。

ABSTRACT

Learning representations of sets of nodes in a graph is crucial for applications ranging from node-role discovery to link prediction and molecule classification. Graph Neural Networks (GNNs) have achieved great success in graph representation learning. However, expressive power of GNNs is limited by the 1-Weisfeiler-Lehman (WL) test and thus GNNs generate identical representations for graph substructures that may in fact be very different. More powerful GNNs, proposed recently by mimicking higher-order-WL tests, only focus on representing entire graphs and they are computationally inefficient as they cannot utilize sparsity of the underlying graph. Here we propose and mathematically analyze a general class of structure-related features, termed Distance Encoding (DE). DE assists GNNs in representing any set of nodes, while providing strictly more expressive power than the 1-WL test. DE captures the distance between the node set whose representation is to be learned and each node in the graph. To capture the distance DE can apply various graph-distance measures such as shortest path distance or generalized PageRank scores. We propose two ways for GNNs to use DEs (1) as extra node features, and (2) as controllers of message aggregation in GNNs. Both approaches can utilize the sparse structure of the underlying graph, which leads to computational efficiency and scalability. We also prove that DE can distinguish node sets embedded in almost all regular graphs where traditional GNNs always fail. We evaluate DE on three tasks over six real networks: structural role prediction, link prediction, and triangle prediction. Results show that our models outperform GNNs without DE by up-to 15\% in accuracy and AUROC. Furthermore, our models also significantly outperform other state-of-the-art methods especially designed for the above tasks.

研究动机与目标

• 解决受 1-WL 测试所界定的标准 WLGNN 表达能力受限的问题。
• 提出距离编码（DE），将目标节点集到所有图节点的距离进行编码。
• 提出两种支持 DE 的框架（DE-GNN 与 DEA-GNN），将 DE 作为特征和消息聚合控制器集成。
• 给出理论保证，表明基于 DE 的模型可以区分大多数稀疏规则图中的非同构结构。
• 在真实网络上的节点结构角色、链接预测和三角形预测任务中展示经验性提升。

提出的方法

• 将距离编码（DE）定义为一个置换不变函数，将每个图节点映射到来自目标节点集的落点概率向量，使用最短路径距离（SPD）和广义 PageRank 分数等度量。
• 将 DE 用作：(i) DE-GNN 的额外节点特征，其中 h_v^(0) 包含 DE(v|S)；或 (ii) DEA-GNN 的聚合控制器，其中 DE(u|v) 指导邻居聚合。
• 给出 DE 可以通过简单聚合实现，例如 zeta(u|S) = AGG{ zeta(u|v) : v in S }，其中 zeta(u|v) = f3(l_uv)，l_uv 来自随机游走矩阵 W = AD^{-1} 的幂（如 SPD 或 GPR）。
• 理论结果显示： (a) DE-GNN/DEA-GNN 可以在对数深度 O(log n) 下，以高概率区分几乎所有稀疏 r-正则图中等大小的节点集的嵌入；(b) 在 DE-1 不足但 DE-2 可以起作用的 DRG 限制；(c) DE-1 在距离正则图上的局限性；(d) 较高阶的 DE（p>=2）可以克服某些 DRG 的限制。

实验结果

研究问题

• RQ1 距离编码（DE）是否能为节点集的结构表示提供严格优于 1-WL 的表达能力？
• RQ2 在标准 WLGNN 无法区分的稀疏规则图中，DE-GNN 与 DEA-GNN 框架是否能在理论上区分非同构的节点集？
• RQ3 基于 DE 的方法在理论上的局限性，特别是在距离正则图上的局限性是什么？
• RQ4 在真实网络上的节点结构角色、链接预测和三角形预测任务中，DE-GNN 与 DEA-GNN 是否带来经验性提升？

主要发现

• 使用 SPD 作为 DE 组件的 DE-equipped GNN 可以在几乎所有稀疏 r-正则图中，以高概率区分等大小的非同构节点集。
• DE-GNN 与 DEA-GNN 在节点结构角色分类、链接预测和三角形预测任务上，平均准确率或 AUC 比标准 WLGNN 基线高出最高可达 15%。
• DE-1 在距离正则图上存在局限性，但 DE-2（使用节点对层面的编码）可以区分某些 DE-1 不能区分的 DRG。
• 在某些 DRG 设置下，若不使用更高阶的 DE 表示，基于 DE 的方法仍然受限于 2-WL 测试。
• 在六个真实网络上的实证评估表明，DE-GNN/DEA-GNN 在所考察任务上优于基线，包括 Ring-GNN/PPGN 和 SEAL。