[论文解读] Learning Graph-Level Representations with Recurrent Neural Networks

Yu Jin, Joseph F. JáJá|arXiv (Cornell University)|May 20, 2018

Advanced Graph Neural Networks参考文献 35被引用 9

一句话总结

该论文提出 GraphLSTM，一种新颖的图级别表征学习框架，通过 Gumbel-Softmax 实现可微分的随机游走节点序列采样，将无监督节点嵌入与 RNN 结合，使 RNN 能够捕捉长程依赖关系。该方法通过反向传播联合优化节点表征与序列采样，在基准图数据集上实现了最先进或更优的分类准确率以及更快的收敛速度。

ABSTRACT

Recently a variety of methods have been developed to encode graphs into low-dimensional vectors that can be easily exploited by machine learning algorithms. The majority of these methods start by embedding the graph nodes into a low-dimensional vector space, followed by using some scheme to aggregate the node embeddings. In this work, we develop a new approach to learn graph-level representations, which includes a combination of unsupervised and supervised learning components. We start by learning a set of node representations in an unsupervised fashion. Graph nodes are mapped into node sequences sampled from random walk approaches approximated by the Gumbel-Softmax distribution. Recurrent neural network (RNN) units are modified to accommodate both the node representations as well as their neighborhood information. Experiments on standard graph classification benchmarks demonstrate that our proposed approach achieves superior or comparable performance relative to the state-of-the-art algorithms in terms of convergence speed and classification accuracy. We further illustrate the effectiveness of the different components used by our approach.

研究动机与目标

• 为解决在机器学习任务中对可变大小图学习有效且可泛化的图级别表征的挑战。
• 通过 RNN 实现监督序列建模与无监督节点表征学习的结合，以提升分类性能。
• 开发一种可微分框架，通过反向传播联合优化节点嵌入与节点序列采样。
• 研究节点表征质量与节点序列排序对图表征学习的影响。
• 在图分类准确率与收敛速度上超越现有最先进方法。

提出的方法

• 采用受连续词袋（CBOW）启发的方法，无监督地学习节点表征，该方法结合了节点特征与局部图结构。
• 通过参数化的随机游走过程将图节点映射为序列，该过程使用 Gumbel-Softmax 分布近似，实现可微分采样。
• 采用经过修改的 RNN 架构，具体为 LSTM 单元，通过结构修改整合邻域信息，处理节点嵌入序列。
• 通过在图标签上的监督分类目标，使用反向传播联合训练 RNN 与随机游走参数。
• 该模型将预训练节点嵌入中的局部结构信息与 RNN 在采样序列上捕捉的长程依赖关系相结合。
• 整个流程（包括节点嵌入与序列采样）端到端可微分，支持所有组件的联合优化。

实验结果

研究问题

• RQ1 可微分的基于 RNN 的框架能否有效从可变大小图中学习图级别表征？
• RQ2 从结构与特征中学习到的节点嵌入质量如何影响下游图分类性能？
• RQ3 与 BFS 或 DFS 等固定排序方法相比，使用 Gumbel-Softmax 的参数化随机游走采样是否能提升表征学习效果？
• RQ4 节点序列的排序顺序在多大程度上影响基于 RNN 的图模型性能？
• RQ5 联合优化节点嵌入与序列采样是否能实现比现有最先进方法更快的收敛速度与更高的准确率？

主要发现

• GraphLSTM 在五个基准数据集（包括 ENZYMES 和 MUTAG）上实现了最先进或更优的分类准确率。
• 在 ENZYMES 与 MUTAG 数据集上，GraphLSTM 的收敛速度显著快于 DE-MF 基线模型，表明训练效率更高。
• 编码了节点特征与图结构的预训练节点嵌入，相比原始 one-hot 或随机初始化嵌入，性能大幅提升。
• 使用 Gumbel-Softmax 的参数化随机游走采样获得最高分类准确率，优于 BFS、DFS 与随机排列等固定顺序方法。
• 节点的随机排列产生最差性能，表明在序列中保持结构邻近性对有效表征学习至关重要。
• 消融实验确认，节点表征质量与序列采样策略均对整体模型性能具有关键影响。