[论文解读] Accurate Learning of Graph Representations with Graph Multiset Pooling

Jinheon Baek, Minki Kang+1 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Graph Neural Networks参考文献 48被引用 68

一句话总结

本文推出 Graph Multiset Transformer (GMT)，一种把图表示视作多重集合编码并使用图结构化注意力来产生 WL 测试风格的、对排列不敏感的图嵌入的图池化方法。GMT 在图分类、重建和生成方面实现了最先进的结果，同时内存高效。

ABSTRACT

Graph neural networks have been widely used on modeling graph data, achieving impressive results on node classification and link prediction tasks. Yet, obtaining an accurate representation for a graph further requires a pooling function that maps a set of node representations into a compact form. A simple sum or average over all node representations considers all node features equally without consideration of their task relevance, and any structural dependencies among them. Recently proposed hierarchical graph pooling methods, on the other hand, may yield the same representation for two different graphs that are distinguished by the Weisfeiler-Lehman test, as they suboptimally preserve information from the node features. To tackle these limitations of existing graph pooling methods, we first formulate the graph pooling problem as a multiset encoding problem with auxiliary information about the graph structure, and propose a Graph Multiset Transformer (GMT) which is a multi-head attention based global pooling layer that captures the interaction between nodes according to their structural dependencies. We show that GMT satisfies both injectiveness and permutation invariance, such that it is at most as powerful as the Weisfeiler-Lehman graph isomorphism test. Moreover, our methods can be easily extended to the previous node clustering approaches for hierarchical graph pooling. Our experimental results show that GMT significantly outperforms state-of-the-art graph pooling methods on graph classification benchmarks with high memory and time efficiency, and obtains even larger performance gain on graph reconstruction and generation tasks.

研究动机与目标

• 将图池化公式化为具有图结构感知的多重集合编码问题。
• 开发 Graph Multiset Transformer (GMT)，使用图结构化注意力来产生排列不变、注入的图嵌入。
• 证明 GMT 的表达能力至多与 Weisfeiler-Lehman (WL) 测试同等强度，并可扩展至节点聚类。
• 在生物化学、社会和分子数据集上的图分类、重建和生成任务中对 GMT 进行实证验证。

提出的方法

• 将 GMPool 定义为基于种子、以注意力驱动的池化，将 n 个节点表示压缩为 k 个代表节点，使用 Graph Multi-head Attention (GMH)。
• 使用 GMH 通过图感知的 GNN 计算键/值，而不是简单线性投影，以捕捉结构信息。
• 引入一个自注意力块，通过多头注意力建模池化节点之间以及所有节点之间的交互。
• 证明 GMPool 和 SelfAtt 的注入性，以使 GMT 与 WL 测试的能力界保持一致。
• 将 GMT 与节点聚类相连，采用稀疏、可扩展的方法，避免密集的邻接操作。
• 在图分类、重建和分子生成任务中评估 GMT；分析内存/时间效率。

实验结果

研究问题

• RQ1 图聚合能否被归结为保持排列不变且注入性的多重集合编码问题？
• RQ2 Graph Multiset Transformer (GMT) 是否在大图上达到与 WL 测试同等级的判别力，同时保持计算效率？
• RQ3 与最先进的池化方法相比，GMT 在图分类、重建和生成上的表现如何？
• RQ4 相对于基于聚类的池化方法，GMT 的内存和时间权衡如何？

主要发现

• GMT 在大多数图池化基线上的图分类基准上表现优越，且内存和时间效率友好。
• GMT 在图重建和分子生成任务上带来更大性能提升，表明它保留了更多图信息。
• 消融显示图注意力和自注意力组件对性能贡献显著；GMT在没有额外消息传递层时也能有效工作。
• GMT 在稀疏图上记忆友好且可扩展，实践中优于记忆负荷较高的池化基线。