[论文解读] Hierarchical Graph Pooling with Structure Learning

Zhen Zhang, Jiajun Bu+5 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Graph Neural Networks参考文献 42被引用 120

一句话总结

提出 HGP-SL，一种非参数图池化算子，结合稀疏注意力结构学习步骤，用以构建用于图分类的分层图表示，集成进 GNN，并在六个基准数据集上测试。

ABSTRACT

Graph Neural Networks (GNNs), which generalize deep neural networks to graph-structured data, have drawn considerable attention and achieved state-of-the-art performance in numerous graph related tasks. However, existing GNN models mainly focus on designing graph convolution operations. The graph pooling (or downsampling) operations, that play an important role in learning hierarchical representations, are usually overlooked. In this paper, we propose a novel graph pooling operator, called Hierarchical Graph Pooling with Structure Learning (HGP-SL), which can be integrated into various graph neural network architectures. HGP-SL incorporates graph pooling and structure learning into a unified module to generate hierarchical representations of graphs. More specifically, the graph pooling operation adaptively selects a subset of nodes to form an induced subgraph for the subsequent layers. To preserve the integrity of graph's topological information, we further introduce a structure learning mechanism to learn a refined graph structure for the pooled graph at each layer. By combining HGP-SL operator with graph neural networks, we perform graph level representation learning with focus on graph classification task. Experimental results on six widely used benchmarks demonstrate the effectiveness of our proposed model.

研究动机与目标

• 动机：在图神经网络中需要分层池化，以同时捕获局部与全局图结构，从而用于图分类。
• 引入一个非参数图池化算子（HGP-SL），用于选择信息丰富的节点并形成诱导子图。
• 结合稀疏注意力的结构学习机制，以细化池化后图的拓扑。
• 展示 HGP-SL 在标准 GNN 架构中的端到端可训练性。
• 在多种基准数据集上通过与多样化基线的对比，进行实证验证。

提出的方法

• 将节点信息分数定义为节点表示与其邻域重构表示之间的 L1 距离，用于指导池化。
• 在每个池化层选择前 rn_i^k 个节点来形成诱导子图（非参数池化）。
• 引入基于稀疏注意力的结构学习层，利用节点特征和现有边计算细化的邻接矩阵 S_i^k，并通过稀疏注意力函数 sparsemax 实现稀疏性。
• 将学习到的 S_i^k 整合到后续的图卷积中（在 GCN/GNN 层中替换原始邻接矩阵）。
• 在每个层级通过拼接均值池化和最大池化来计算读出，并对 K 层求和以得到图级表示 z_i。
• 使用图分类的交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 一个依赖节点信息分数的非参数池化操作是否在分层下采样过程中保留了关键的图拓扑？
• RQ2 在池化的子图中引入稀疏、学习得到的图结构是否通过改进信息传播提升最终的图分类性能，相对于传统池化？
• RQ3 与不同的骨干 GNN 架构和数据集相比，HGP-SL 在与最先进的池化方法比较下的表现如何？

主要发现

• HGP-SL 在六个基准数据集的图分类任务中持续超越最先进的基线。
• 具有学习得到的稀疏图的结构化池化性能优于 NSL 和 HOP 变体，验证了结构学习组件的有效性。
• 使用密集 vs. 稀疏结构学习的对比表明，稀疏性（通过 sparsemax）通常有助于降低噪声。
• 消融实验显示将池化与结构学习结合优于仅使用池化或简单邻居连接。
• HGP-SL 在 GCN、GAT 和 GraphSAGE 骨干下均取得良好结果，展示了架构的兼容性。