[论文解读] Graph Neural Networks: A Review of Methods and Applications

Jie Zhou, Ganqu Cui+7 more|arXiv (Cornell University)|Dec 20, 2018

Advanced Graph Neural Networks参考文献 260被引用 1,451

一句话总结

对图神经网络（GNNs）的全面综述，详述通用设计流程、模块化变体、图类型和广泛应用，以及未来工作中的四个待解决问题。

ABSTRACT

Lots of learning tasks require dealing with graph data which contains rich relation information among elements. Modeling physics systems, learning molecular fingerprints, predicting protein interface, and classifying diseases demand a model to learn from graph inputs. In other domains such as learning from non-structural data like texts and images, reasoning on extracted structures (like the dependency trees of sentences and the scene graphs of images) is an important research topic which also needs graph reasoning models. Graph neural networks (GNNs) are neural models that capture the dependence of graphs via message passing between the nodes of graphs. In recent years, variants of GNNs such as graph convolutional network (GCN), graph attention network (GAT), graph recurrent network (GRN) have demonstrated ground-breaking performances on many deep learning tasks. In this survey, we propose a general design pipeline for GNN models and discuss the variants of each component, systematically categorize the applications, and propose four open problems for future research.

研究动机与目标

• 提出一个 GNN 模型的通用设计流程，并澄清如何选择图结构、类型、尺度、损失和模块。
• 通过传播、采样和池化机制在不同图类型（有向/无向、同构/异构、静态/动态）上系统性地对 GNN 变体进行分类。
• 综述并综合 GNN 在结构化和非结构化场景中的主要应用，覆盖各领域。
• 强调对 GNN 的理论与实证分析，并指出未来研究的开放问题以指导后续工作。

提出的方法

• 从设计师视角呈现 GNN 的四个设计步骤：(i) 寻找图结构，(ii) 指定图类型与尺度，(iii) 设计损失函数，(iv) 使用计算模块构建模型。
• 详细阐述传播模块，包含频域方法（例如 Spectral Network、ChebNet、GCN、GWNN）和时域/空间方法（例如 GraphSAGE、PATCHY-SAN、LGCN、DCNN），并包括基于注意力的变体（GAT、GaAN）。
• 描述统一模型的通用框架（MoNet、MPNN、NLNN、GN），并讨论递归和定点 GNN（如 GraphESN）。
• 讨论模块组成部分：传播、采样和池化，以及它们如何集成到多层 GNN 架构中。
• 解释图类型（有向/无向、同构/异构、静态/动态）及大规模图的可扩展性方面的考虑。

实验结果

研究问题

• RQ1 在构建 GNN 模型时的组成部分和设计决策有哪些经典要素？
• RQ2 不同的图类型和尺度如何影响 GNN 架构的选择和训练策略？
• RQ3 GNN 变体的主要分类（卷积、递归、注意力、框架）及其各自的权衡是哪些？
• RQ4 GNN 在结构化和非结构化领域最能支持哪些应用，以及目前的局限性？
• RQ5 系统综述 GNN 方法与应用时，出现了哪些未解决的问题和未来方向？

主要发现

• 提供一个统一的 GNN 设计流程，包括图结构发现、图类型/尺度设定、损失设计和模块化构建。
• 总结主要的 GNN 实例，包括频域卷积（如 ChebNet、GCN）和时域/空间卷积（如 GraphSAGE、GAT）的做法，以及通用框架（MoNet、MPNN、GN）。
• 突出基于注意力的变体（GAT、GaAN）及其在处理可变邻居大小和噪声方面的优势。
• 阐明图类型和场景（结构化与非结构化）的分类，以及它们对模型设计和适用性的影响。
• 提供对 GNN 的理论与实证分析，并提出四个开放问题以指导未来研究。
• 在社会科学、自然科学、知识图谱等领域对 GNN 的应用进行综述，并就方法选择给出结构化指导。