[论文解读] Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities

Takeshi Itoh, Takatomi Kubo+1 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Graph Neural Networks参考文献 85被引用 29

一句话总结

该论文提出多层注意力池化（MLAP），一种图神经网络（GNN）架构，通过从多层消息传递中学习并聚合基于注意力的图表示，提升图级分类性能。通过保留分层结构信息并采用加权或求和聚合方式整合，MLAP增强了表示的判别能力，在分子和合成图数据集上实现了最先进性能，尤其在结合如GraphNorm等归一化技术时表现更优。

ABSTRACT

Graph neural networks (GNNs) have been widely used to learn vector representation of graph-structured data and achieved better task performance than conventional methods. The foundation of GNNs is the message passing procedure, which propagates the information in a node to its neighbors. Since this procedure proceeds one step per layer, the range of the information propagation among nodes is small in the lower layers, and it expands toward the higher layers. Therefore, a GNN model has to be deep enough to capture global structural information in a graph. On the other hand, it is known that deep GNN models suffer from performance degradation because they lose nodes' local information, which would be essential for good model performance, through many message passing steps. In this study, we propose multi-level attention pooling (MLAP) for graph-level classification tasks, which can adapt to both local and global structural information in a graph. It has an attention pooling layer for each message passing step and computes the final graph representation by unifying the layer-wise graph representations. The MLAP architecture allows models to utilize the structural information of graphs with multiple levels of localities because it preserves layer-wise information before losing them due to oversmoothing. Results of our experiments show that the MLAP architecture improves the graph classification performance compared to the baseline architectures. In addition, analyses on the layer-wise graph representations suggest that aggregating information from multiple levels of localities indeed has the potential to improve the discriminability of learned graph representations.

研究动机与目标

• 解决深度GNN因过度平滑导致的性能下降问题，该问题会抹除关键的局部结构信息。
• 通过统一图中多层级局部性信息，提升图表示的判别能力。
• 设计一种可泛化的架构，在不修改底层GNN主干网络的前提下，提升图级分类性能。
• 探究在每一层采用注意力池化是否能比单层池化更好地保留并利用局部与全局结构模式。

提出的方法

• 在GNN的每一层消息传递之后引入注意力池化层，用于计算分层图表示。
• 使用可学习的注意力机制为每层中的节点分配重要性分数，实现对信息子结构的选择性聚合。
• 通过求和或可学习加权池化方式聚合分层图表示，生成最终的图级表示。
• 将聚合机制设计为与多种GNN主干网络（如GCN、GIN、GAT）及归一化技术（如GraphNorm）兼容。
• 采用受Jumping Knowledge网络启发的分层聚合策略，使模型能够动态选择相关层级的局部性信息。
• 设计架构为模块化与可扩展形式，支持多阶段训练及除求和与加权池化外的其他聚合函数。

实验结果

研究问题

• RQ1 与单层池化相比，聚合GNN多层图表示是否能提升分类性能？
• RQ2 通过注意力池化保留分层表示是否能缓解深度GNN中局部结构信息的丢失？
• RQ3 在判别能力与性能方面，MLAP与现有聚合方法（如Jumping Knowledge, JK）相比如何？
• RQ4 将MLAP与GraphNorm等归一化技术结合是否能进一步增强模型泛化能力？
• RQ5 不同聚合策略（如求和与加权）对训练稳定性和性能有何影响？

主要发现

• MLAP在MCF-7和合成数据集上的图分类准确率显著提升，优于基线GNN模型及JK聚合方法。
• 当与GraphNorm结合时，性能增益尤为显著，其中MLAP + GraphNorm在性能上优于朴素GNN + GraphNorm与JK + GraphNorm。
• t-SNE可视化结果表明，MLAP的分层表示更具判别性，正样本与负样本之间的分离更清晰。
• 在部分数据集中，MLAP-Weighted的表现劣于MLAP-Sum，表明可学习权重可能引入训练不稳定性。
• 该架构与多种GNN主干网络及归一化技术兼容，展现出广泛的适用性，并具备与现有模型集成的潜力。
• 分析结果表明，聚合多层级局部性信息可增强学习到的图嵌入的判别能力，支持本方法的核心假设。