[论文解读] Hierarchical Graph Representation Learning with Differentiable Pooling

Rex Ying, Jiaxuan You+4 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Graph Neural Networks参考文献 34被引用 833

一句话总结

DiffPool 引入了一个可微分的图池化模块，用以学习分层图表示，在图分类基准上平均准确率提升5–10%，并在五个数据集中的四个上达到最新研究成果。

ABSTRACT

Recently, graph neural networks (GNNs) have revolutionized the field of graph representation learning through effectively learned node embeddings, and achieved state-of-the-art results in tasks such as node classification and link prediction. However, current GNN methods are inherently flat and do not learn hierarchical representations of graphs---a limitation that is especially problematic for the task of graph classification, where the goal is to predict the label associated with an entire graph. Here we propose DiffPool, a differentiable graph pooling module that can generate hierarchical representations of graphs and can be combined with various graph neural network architectures in an end-to-end fashion. DiffPool learns a differentiable soft cluster assignment for nodes at each layer of a deep GNN, mapping nodes to a set of clusters, which then form the coarsened input for the next GNN layer. Our experimental results show that combining existing GNN methods with DiffPool yields an average improvement of 5-10% accuracy on graph classification benchmarks, compared to all existing pooling approaches, achieving a new state-of-the-art on four out of five benchmark data sets.

研究动机与目标

• 为图分类需要分层图表示提供动机。
• 提出一个可微分的池化机制，在多层GNN中对图进行粗化。
• 使得带学习聚类分配的深层分层GNN能够端到端训练。
• 显示 DiffPool 在多样数据集和不同 GNN 基础网络上提升性能。

提出的方法

• 引入 DiffPool，一个可微分的池化模块，学习软聚类分配 S^(l) 以形成更粗的图。
• 计算聚类嵌入 X^(l+1) = S^(l)ᵀ Z^(l) 和粗化的邻接矩阵 A^(l+1) = S^(l)ᵀ A^(l) S^(l)。
• 每层使用两个 GNN：一个用于节点嵌入（嵌入 GNN），一个用于产生池化分配（池化 GNN）。
• 用辅助的连边预测目标 L_LP = ||A^(l) , S^(l) S^(l)ᵀ||_F 和一个熵正则化 L_E 来鼓励接近一热分配。
• 在给定置换不变的 GNN 的情况下，确保 DiffPool 对节点置换具有置换不变性。
• 支持端到端训练，最终的图表示用于分类。

实验结果

研究问题

• RQ1 DiffPool 是否在图分类基准上优于现有的 GNN 池化方法？
• RQ2 DiffPool 是否能够在不同的 GNN 架构中提供可扩展、可解释的分层图表示？
• RQ3 加入辅助目标是否能稳定训练并提升聚类的可解释性？
• RQ4 相较于扁平的 GNN 架构，分层池化对不同数据集下的性能有何影响？
• RQ5 该方法是否可推广至 GraphSAGE 以外的架构（如 Structure2Vec）？

主要发现

• DiffPool 在图分类任务上对现有所有池化方法平均提升 5–10% 的准确率。
• 在五个基准数据集中的四个上达到了最新研究结果。
• DiffPool 与 GraphSAGE 结合时，相较于基线大约提升 6.27%。
• DiffPool 将其嵌入用于 Structure2Vec 时也能提升，与其嵌入结合时显示出广泛适用性。
• 辅助连边预测目标提高了训练稳定性并减少了跨运行的准确率波动。
• DiffPool 学习出可解释的分层聚类，与图中的社区结构对齐。