[论文解读] Understanding the Representation Power of Graph Neural Networks in Learning Graph Topology

Nima Dehmamy, Albert-Ĺaszló Barabási+1 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Graph Neural Networks参考文献 39被引用 43

一句话总结

本文分析 GCN 在学习编码拓扑的图矩矩方面的能力，揭示标准 GCN 的局限性，并提出一种具有多种传播规则的模块化残差 GCN 设计，以提升表示能力，从而实现区分不同生成器生成的少量图的能力。

ABSTRACT

To deepen our understanding of graph neural networks, we investigate the representation power of Graph Convolutional Networks (GCN) through the looking glass of graph moments, a key property of graph topology encoding path of various lengths. We find that GCNs are rather restrictive in learning graph moments. Without careful design, GCNs can fail miserably even with multiple layers and nonlinear activation functions. We analyze theoretically the expressiveness of GCNs, concluding a modular GCN design, using different propagation rules with residual connections could significantly improve the performance of GCN. We demonstrate that such modular designs are capable of distinguishing graphs from different graph generation models for surprisingly small graphs, a notoriously difficult problem in network science. Our investigation suggests that, depth is much more influential than width, with deeper GCNs being more capable of learning higher order graph moments. Additionally, combining GCN modules with different propagation rules is critical to the representation power of GCNs.

研究动机与目标

• 研究 GCNs 在学习刻画图拓扑的图矩方面的能力。
• 理论分析表示能力对深度与宽度在 GCN 中的依赖关系。
• 开发一种结合不同传播规则的模块化 GCN 设计，在保持置换不变性的同时提升表达能力。
• 证明具有残差连接的模块化 GCN 能在小图上区分由不同模型生成的图。
• 为提升 GCNs 学习图拓扑的架构设计提供实用建议。

提出的方法

• 定义图矩并展示置换不变性如何约束可学习的矩。
• 理论证明在没有特殊设计的情况下，单层和多层 GCNs 在学习高阶图矩方面的局限性。
• 引入一种具有三种传播规则和残差连接的模块化 GCN 设计，以学习图矩的多项式。
• 在区分 Barabási–Albert、Erdős–Rényi 和配置模型图的任务上对小图进行评估。
• 比较深度与宽度的影响，并对模块组合进行消融研究。

实验结果

研究问题

• RQ1 在置换不变性下，GCN 能否学习高阶图矩？
• RQ2 深度与宽度如何影响 GCN 捕捉图拓扑矩的能力？
• RQ3 具有多种传播规则和残差连接的模块化设计是否能提升表示能力，超越标准 GCN？
• RQ4 在小图上，模块化 GCN 在多大程度上能够区分图生成模型？

主要发现

• 与 GCN 相比，全连接网络在学习图矩方面在样本和参数上都效率低下。
• 当 f(A)=A 时，单层 GCN 可以学习度；但对于其他矩形式如 f(A)=D^{-1}A 则失败。
• 若没有残差连接，n<p 的 GCN 层难以学习 p 阶图矩。
• 有了残差连接，带有多层的 GCN 可以用 O(p) 个神经元学习图矩 M_p(A)，将表示能力与深度联系起来而非图大小。
• 一个具有三个模块和残差连接的模块化 GCN 在小图上几乎完美区分 BA 与 ER 以及 BA 与 Config BA 图。
• 深度的增加对性能的影响大于宽度，且模块组合在拓扑判别方面带来显著提升。