[论文解读] GRAM: Scalable Generative Models for Graphs with Graph Attention Mechanism.

Wataru Kawai, Yusuke Mukuta+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 33被引用 6

一句话总结

GRAM 提出了一种可扩展的图生成模型，采用新颖的图注意力机制，以高效处理大规模图、数据集以及带标签的节点/边。该方法在计算复杂度降低的同时实现了最先进性能，并引入了一种结合图核与最大均值差异（Maximum Mean Discrepancy）的统一评估指标。

ABSTRACT

Graphs are ubiquitous real-world data structures, and generative models that approximate distributions over graphs and derive new samples from them have significant importance. Among the known challenges in graph generation tasks, scalability handling of large graphs and datasets is one of the most important for practical applications. Recently, an increasing number of graph generative models have been proposed and have demonstrated impressive results. However, scalability is still an unresolved problem due to the complex generation process or difficulty in training parallelization. In this paper, we first define scalability from three different perspectives: number of nodes, data, and node/edge labels. Then, we propose GRAM, a generative model for graphs that is scalable in all three contexts, especially in training. We aim to achieve scalability by employing a novel graph attention mechanism, formulating the likelihood of graphs in a simple and general manner. Also, we apply two techniques to reduce computational complexity. Furthermore, we construct a unified and non-domain-specific evaluation metric in node/edge-labeled graph generation tasks by combining a graph kernel and Maximum Mean Discrepancy. Our experiments on synthetic and real-world graphs demonstrated the scalability of our models and their superior performance compared with baseline methods.

研究动机与目标

• 解决图生成模型在节点数量、数据量和标签复杂度方面面临的可扩展性关键挑战。
• 开发一种训练高效的生成模型，能够在不牺牲生成质量的前提下扩展至大规模图和数据集。
• 通过一种新颖的图注意力机制，以简洁通用的方式表述图似然，从而支持可扩展的训练与推理。
• 提出一种统一的、与领域无关的评估指标，用于节点与边带标签的图生成任务，结合图核与最大均值差异（MMD）。
• 在合成数据集与真实世界图基准上，相较于现有方法，展现出更优的性能与可扩展性。

提出的方法

• 提出一种图注意力机制，可高效计算图似然，降低训练复杂度。
• 以简洁通用的方式表述图生成的似然，以支持可扩展的训练与推理。
• 应用两种技术以降低计算复杂度，提升大规模图上的训练效率。
• 将图核与最大均值差异（MMD）结合，构建用于带标签图生成的统一评估指标。
• 设计模型为非领域特定，以支持在多样化图生成任务中的广泛适用性。
• 采用可微似然目标端到端训练模型，从学习到的分布中生成逼真的图。

实验结果

研究问题

• RQ1 图生成模型能否在节点数量、数据量和标签复杂度方面实现同步可扩展性？
• RQ2 所提出的图注意力机制相较于现有方法，在提升训练效率与可扩展性方面有何改进？
• RQ3 基于图核与MMD的统一评估指标在多大程度上能有效捕捉带标签图生成中的分布相似性？
• RQ4 GRAM在真实世界与合成数据集上的性能与可扩展性相较于现有最先进图生成模型表现如何？

主要发现

• GRAM 在训练中展现出卓越的可扩展性，相较于基线方法更高效地处理大规模图与数据集。
• 该模型在合成与真实世界图生成基准上均达到最先进性能。
• 所提出的评估指标能有效捕捉节点与边带标签图生成任务中的分布相似性。
• 计算复杂度降低技术显著提升了训练速度，且未损害生成质量。
• GRAM 在大规模场景下仍保持高生成质量，在似然与结构保真度方面优于现有模型。