[论文解读] Learning Representations of Graph Data -- A Survey

Mital Kinderkhedia|arXiv (Cornell University)|Jun 7, 2019

Advanced Graph Neural Networks参考文献 111被引用 10

一句话总结

本综述提供了图结构数据表示学习方法的全面分类法，将其分为五类主要方法：核方法、卷积方法、图神经网络、图嵌入和概率方法。综述了其核心技术，比较了各自的优势与局限性，并指出了在表示复杂图结构（如分子结构、社交网络和时序图）方面存在的开放性挑战。

ABSTRACT

Deep Neural Networks have shown tremendous success in the area of object recognition, image classification and natural language processing. However, designing optimal Neural Network architectures that can learn and output arbitrary graphs is an ongoing research problem. The objective of this survey is to summarize and discuss the latest advances in methods to Learn Representations of Graph Data. We start by identifying commonly used types of graph data and review basics of graph theory. This is followed by a discussion of the relationships between graph kernel methods and neural networks. Next we identify the major approaches used for learning representations of graph data namely: Kernel approaches, Convolutional approaches, Graph neural networks approaches, Graph embedding approaches and Probabilistic approaches. A variety of methods under each of the approaches are discussed and the survey is concluded with a brief discussion of the future of learning representation of graph data.

研究动机与目标

• 提供图结构数据表示学习主要方法的系统性分类法。
• 识别并比较五种类别的关键方法：核方法、卷积方法、图神经网络（GNN）、嵌入方法和概率方法。
• 突出复杂图类型（如加权图、有向图和时序图）在表示中的挑战。
• 为研究人员在图数据下游机器学习任务中选择合适方法提供指导。
• 概述图表示学习中的开放性问题与未来研究方向。

提出的方法

• 将图表示学习划分为五类主要方法：核方法、卷积方法、图神经网络（GNN）、嵌入方法和概率方法。
• 回顾图论基础以及神经网络在近似复杂图函数中的作用。
• 分析变分推断与基于自编码器的模型（如VAE和GVAE），用于通过SMILES和解析树生成有效的分子结构。
• 讨论使用神经网络通过序列化操作（如添加节点、添加边）生成图的图生成模型。
• 研究基于马尔可夫随机场和Loopy Belief Propagation的概率模型，以推导基于后验的表示。
• 引入变分下界在生成模型训练中的应用，目标函数如 $\mathcal{L} = \mathbb{E}_q[\log p(A|Z)] - \mathcal{KL}[q(Z|X,A) \| p(Z)]$。

实验结果

研究问题

• RQ1 学习图结构数据表示的主导方法家族有哪些？
• RQ2 基于核的方法、卷积方法、图神经网络（GNN）、嵌入方法和概率方法在设计与性能上如何不同？
• RQ3 使用深度生成模型生成有效且结构化的图面临哪些关键挑战？
• RQ4 概率模型如何有效编码图表示中的关系与拓扑结构？
• RQ5 在使用表示学习技术表示加权图、有向图和时序图方面，存在哪些开放性问题？

主要发现

• 图表示学习能够将顶点、子图或整个图映射到低维向量空间，同时保留其拓扑与几何结构。
• 核方法与图神经网络（GNN）在捕捉关系模式方面有效，但在归纳偏置与可扩展性方面存在差异。
• 基于VAE和GVAE的图自编码器可生成有效的SMILES字符串表示分子化合物，但化学有效性需额外约束（如基于语法规则的解码）。
• 通过序列化操作（如添加节点、添加边）生成图的神经生成模型具有灵活性，但在可扩展性与节点排序方面面临挑战。
• 基于马尔可夫随机场与变分推断的概率模型可从图结构数据中推导出有意义的后验表示。
• 尽管已有进展，但在非欧几里得域、有向图和时序模式的表示学习方面仍存在挑战，表明这些是当前活跃的研究前沿。