[论文解读] Machine Learning on Graphs: A Model and Comprehensive Taxonomy

Ines Chami, Sami Abu-El-Haija+3 more|arXiv (Cornell University)|May 7, 2020

Advanced Graph Neural Networks参考文献 150被引用 99

一句话总结

这份综述在 GraphEDM 框架下统一网络嵌入、图正则化和图神经网络，并提供对图表示学习方法的全面分类，以及一个开源库。

ABSTRACT

There has been a surge of recent interest in learning representations for graph-structured data. Graph representation learning methods have generally fallen into three main categories, based on the availability of labeled data. The first, network embedding (such as shallow graph embedding or graph auto-encoders), focuses on learning unsupervised representations of relational structure. The second, graph regularized neural networks, leverages graphs to augment neural network losses with a regularization objective for semi-supervised learning. The third, graph neural networks, aims to learn differentiable functions over discrete topologies with arbitrary structure. However, despite the popularity of these areas there has been surprisingly little work on unifying the three paradigms. Here, we aim to bridge the gap between graph neural networks, network embedding and graph regularization models. We propose a comprehensive taxonomy of representation learning methods for graph-structured data, aiming to unify several disparate bodies of work. Specifically, we propose a Graph Encoder Decoder Model (GRAPHEDM), which generalizes popular algorithms for semi-supervised learning on graphs (e.g. GraphSage, Graph Convolutional Networks, Graph Attention Networks), and unsupervised learning of graph representations (e.g. DeepWalk, node2vec, etc) into a single consistent approach. To illustrate the generality of this approach, we fit over thirty existing methods into this framework. We believe that this unifying view both provides a solid foundation for understanding the intuition behind these methods, and enables future research in the area.

研究动机与目标

• 提出一个统一框架（GraphEDM），用以描述有监督和无监督的图表示学习方法。
• 提供一个全面的分类法，包含大量现有 GRL 方法（浅层嵌入、自编码器、图正则化和 GNN）。
• 引入一个图卷积框架（GCF），在谱域和时空范式中分析基于卷积的 GNN。
• 将工作置于图神经网络和非欧几里得学习的更广泛背景中，概述优点和局限性。
• 发布一个开源 GRL 库，以实现重复性和应用于节点分类与链接预测任务。

提出的方法

• 将 GraphEDM 介绍为一个编码器-解码器模型，将图结构和可选的节点特征映射到节点嵌入、重构的相似性矩阵以及可选的标签预测。
• 将 GraphEDM 的损失定义为有监督损失、图正则化损失和参数正则化（L2）的加权和，以实现有监督和无监督训练。
• 枚举目标函数的分类，包括有监督损失、图正则化损失和正则化惩罚，总损失 L = alpha*L_SUP + beta*L_G,REG + gamma*L_REG。
• 将编码器分为四组：浅层嵌入、图正则化、图自编码、邻域聚合方法（图卷积方法）。
• 说明 GraphEDM 如何通过特定的编码器/解码器选择实现现有方法（例如 GraphSAGE、GCN、GAT、DeepWalk、node2vec）。
• 提供一个高层次的架构图并讨论推断式 vs 归纳式设置、特征使用，以及位置嵌入 vs 结构嵌入。

实验结果

研究问题

• RQ1 网络嵌入、图正则化和图神经网络如何统一到一个描述性框架中？
• RQ2 有一个全面的分类法，涵盖广泛的 GRL 方法并澄清它们的相似性和差异？
• RQ3 GraphSAGE、GCN、GAT、DeepWalk 和 node2vec 如何在共同的 GraphEDM/Graph Convolution 框架中表示？
• RQ4 在一个框架下描述有监督与无监督、推断式与归纳式、以及位置嵌入与结构嵌入时，会产生哪些见解和局限？
• RQ5 开源库能否支持广泛的 GRL 方法及节点分类、链接预测等常见应用？

主要发现

• GraphEDM 框架在单一的编码器-解码器视角下概括了流行的半监督和无监督 GRL 方法。
• 作者使用统一分类法对三十多种现有 GRL 方法进行分类，阐明它们的关系和差异。
• 引入图卷积框架（GCF），用以分析跨谱域到时空和基于注意力的方法的卷积型 GNN。
• 研究展示了各种方法（浅层嵌入、自编码器、图正则化和 GNNs）如何融入 GraphEDM，便于有原则的比较。
• 发布一个开源 GRL 库，以支持前沿方法和常见图应用，如节点分类和链接预测。