[论文解读] Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

Jiawei Zhang|arXiv (Cornell University)|Aug 1, 2019

Advanced Graph Neural Networks参考文献 7被引用 6

一句话总结

本文针对两类不同图结构——小型图（如分子图或脑网络）和巨型网络（如社交网络或引用网络）——提供了图神经网络（GNNs）的全面综述。文中调研了10种GNN模型——用于小型图的IsoNN、SDBN、LF&ER，以及用于巨型网络的GCN、GAT、DifNN、GNL、GraphSage、seGEN——详细阐述了其架构、机制与性能表现，同时指出了关键挑战，如过平滑问题、优化效率低下，以及两类图结构缺乏统一模型的问题。

ABSTRACT

Graph neural networks denote a group of neural network models introduced for the representation learning tasks on graph data specifically. Graph neural networks have been demonstrated to be effective for capturing network structure information, and the learned representations can achieve the state-of-the-art performance on node and graph classification tasks. Besides the different application scenarios, the architectures of graph neural network models also depend on the studied graph types a lot. Graph data studied in research can be generally categorized into two main types, i.e., small graphs vs. giant networks, which differ from each other a lot in the size, instance number and label annotation. Several different types of graph neural network models have been introduced for learning the representations from such different types of graphs already. In this paper, for these two different types of graph data, we will introduce the graph neural networks introduced in recent years. To be more specific, the graph neural networks introduced in this paper include IsoNN, SDBN, LF&ER, GCN, GAT, DifNN, GNL, GraphSage and seGEN. Among these graph neural network models, IsoNN, SDBN and LF&ER are initially proposed for small graphs and the remaining ones are initially proposed for giant networks instead. The readers are also suggested to refer to these papers for detailed information when reading this tutorial paper.

研究动机与目标

• 系统性地对专为两类不同图结构（小型图与巨型网络）设计的图神经网络模型进行分类与比较。
• 识别专为小型图（侧重整体图表示）与巨型网络（侧重节点级表示）设计的GNN在架构与方法论上的差异。
• 突出GNN研究中的关键挑战，包括过平滑、优化效率低下，以及跨图类型缺乏统一模型的问题。
• 通过提出开放问题（如动态图与异构图学习）为未来研究奠定基础。
• 为从事图表示学习的GNN研究人员提供教程与参考指南。

提出的方法

• 引入IsoNN，通过图同构层与最小池化操作，比较节点排列以学习小型图的不变表示。
• 提出SDBN，结合图重排与结构增强技术，通过感知对称性的处理提升小型图的表示学习能力。
• 采用LF&ER，一种深度自编码器框架，通过端到端训练从小型图中学习低维潜在特征。
• 将GCN的谱卷积近似应用于巨型网络，利用固定阶多项式高效聚合邻域信息。
• 利用GAT的多头注意力机制动态加权邻近节点贡献，提升巨型网络学习中的鲁棒性。
• 提出seGEN，一种混合模型，结合多种图采样策略（如BFS、DFS等）与集成学习，生成巨型网络中稳健的节点表示。

实验结果

研究问题

• RQ1 小型图与巨型网络的图神经网络架构在设计与目标上存在哪些差异？
• RQ2 在整体图被标记而非单个节点被标记的小型图中，哪些机制能够实现有效的表示学习？
• RQ3 在将GNN扩展至巨型网络时，主要挑战是什么，尤其是过平滑与高计算成本问题？
• RQ4 能否开发一种统一的GNN架构，在无需架构修改的情况下有效表示小型图与巨型网络？
• RQ5 如何扩展GNN以处理现实应用中动态与异构网络结构？

主要发现

• GCN与GAT通过利用谱聚合与基于注意力的聚合机制，在巨型网络的节点分类任务中达到最先进性能。
• DifNN与GNL通过门控扩散单元缓解过平滑问题，在消息传递过程中保留原始输入与动态状态信息。
• seGEN通过结合多种采样策略（如BFS、DFS等）并利用全局集成平均化输出，提升了节点表示的鲁棒性。
• GNN的时间复杂度随网络规模呈二次方增长，随深度呈指数增长，带来显著的优化挑战。
• 目前尚无GNN模型能有效同时学习小型图与巨型网络的表示，表明存在关键的研究空白。
• 当前GNN主要聚焦于同构网络，为建模具有多样化节点与边类型的异构网络留下了重大研究机遇。