[论文解读] iPool -- Information-based Pooling in Hierarchical Graph Neural Networks

Xing Gao, Hongkai Xiong+1 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Graph Neural Networks参考文献 30被引用 12

一句话总结

该论文提出 iPool，一种用于层次化图神经网络的无参、基于信息的池化算子，通过基于邻域信息增益选择节点来保留图结构和信号内容。通过利用条件熵建模节点信息量并结合局部预测，iPool 在图分类基准上实现了最先进性能，收敛速度更快，并具备同构不变性。

ABSTRACT

With the advent of data science, the analysis of network or graph data has become a very timely research problem. A variety of recent works have been proposed to generalize neural networks to graphs, either from a spectral graph theory or a spatial perspective. The majority of these works however focus on adapting the convolution operator to graph representation. At the same time, the pooling operator also plays an important role in distilling multiscale and hierarchical representations but it has been mostly overlooked so far. In this paper, we propose a parameter-free pooling operator, called iPool, that permits to retain the most informative features in arbitrary graphs. With the argument that informative nodes dominantly characterize graph signals, we propose a criterion to evaluate the amount of information of each node given its neighbors, and theoretically demonstrate its relationship to neighborhood conditional entropy. This new criterion determines how nodes are selected and coarsened graphs are constructed in the pooling layer. The resulting hierarchical structure yields an effective isomorphism-invariant representation of networked data in arbitrary topologies. The proposed strategy is evaluated in terms of graph classification on a collection of public graph datasets, including bioinformatics and social networks, and achieves state-of-the-art performance on most of the datasets.

研究动机与目标

• 为解决图神经网络中缺乏有效且可泛化的池化算子的问题，这些算子能够提炼分层表示。
• 设计一种池化机制，以在任意图拓扑中同时保留结构信息和基于信号的信息。
• 开发一种无参、同构不变的池化策略，可自适应于多种图结构而无需重新训练。
• 通过基于信息论的节点选择进行图粗化，实现有效的多尺度表征学习。

提出的方法

• 该方法引入邻域信息增益准则 γ(v)，用于量化给定邻居条件下节点所提供的信息量，基于条件熵。
• 通过 k 跳邻域构建邻居信号到节点信号的预测，实现信息增益的局部计算。
• 根据 γ(v) 值选择节点进行粗化，γ(v) 值越高表示节点越具信息量。
• 通过聚合选定节点的特征构建粗化图，同时保持与原始图的拓扑一致性。
• 该方法支持全局和局部池化策略，允许在结构保持与信息聚合之间进行权衡。
• 池化操作无参数且对图同构不变，确保同构图之间表示的一致性。

实验结果

研究问题

• RQ1 如何在给定邻居的前提下，定义并量化图中单个节点的信息含量？
• RQ2 一种有效且无参的图粗化策略是什么，能够在保留结构和信号信息的同时实现？
• RQ3 基于信息论的池化机制是否能在图分类任务中超越现有池化方法？
• RQ4 邻域深度（k）的选择如何影响池化操作的性能？
• RQ5 所提出的池化策略在层次化 GNN 中在多大程度上提升了收敛速度与泛化能力？

主要发现

• iPool 在 10 个公开图分类数据集中的 9 个上达到最先进性能，优于基于 GNN 和基于核的方法。
• 局部池化策略始终优于全局策略，因其通过从多样化邻域中选择节点，更好地保留了局部图结构。
• 与 SET2SET 和 DIFFPOOL 相比，该方法收敛速度显著更快，训练速度比 SET2SET 快 7 倍，比 DIFFPOOL 快 1.1 倍。
• 消融实验表明，iPool 提升了分类准确率并加速了收敛，尤其在具有多个池化层的深层架构中表现更优。
• 预测函数中最佳跳数（k）与图密度相关，稀疏图需要更大的 k 以获得最佳性能。
• 在 REDDIT-MULTI-12K 数据集上，iPool-2 略逊于 iPool-1，可能由于过度粗化和节点信号简化导致过拟合。