[论文解读] Graph Cross Networks with Vertex Infomax Pooling

Maosen Li, Siheng Chen+2 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Graph Neural Networks参考文献 54被引用 4

一句话总结

本文提出图交叉网络（GXN），一种新颖的图神经网络架构，通过可训练的顶点互信息池化（VIPool）机制和十字形特征交叉层，实现全面的多尺度特征学习。VIPool通过最大化顶点特征与邻域特征之间的互信息来选择信息丰富的顶点，而特征交叉层则增强了跨尺度的信息流动，在图分类任务上实现2.12%的平均准确率提升，在顶点分类任务上实现1.15%的提升，达到当前最优性能。

ABSTRACT

We propose a novel graph cross network (GXN) to achieve comprehensive feature learning from multiple scales of a graph. Based on trainable hierarchical representations of a graph, GXN enables the interchange of intermediate features across scales to promote information flow. Two key ingredients of GXN include a novel vertex infomax pooling (VIPool), which creates multiscale graphs in a trainable manner, and a novel feature-crossing layer, enabling feature interchange across scales. The proposed VIPool selects the most informative subset of vertices based on the neural estimation of mutual information between vertex features and neighborhood features. The intuition behind is that a vertex is informative when it can maximally reflect its neighboring information. The proposed feature-crossing layer fuses intermediate features between two scales for mutual enhancement by improving information flow and enriching multiscale features at hidden layers. The cross shape of the feature-crossing layer distinguishes GXN from many other multiscale architectures. Experimental results show that the proposed GXN improves the classification accuracy by 2.12% and 1.15% on average for graph classification and vertex classification, respectively. Based on the same network, the proposed VIPool consistently outperforms other graph-pooling methods.

研究动机与目标

• 为解决现有GNN中固定尺度特征学习的局限性，该局限可能忽略图的局部或全局结构。
• 通过设计一种可训练的信息论池化机制，实现跨多个图尺度的有效信息流动。
• 开发一种新型架构，融合多尺度的中间特征，而非仅在最终层进行特征融合。
• 提供跨尺度的顶点到顶点的直接对应关系，克服顶点分组或全局选择方法的局限。
• 通过多尺度特征增强，在图分类和顶点分类任务上实现更优性能。

提出的方法

• 提出顶点互信息池化（VIPool），一种可微分的图池化方法，基于顶点特征与邻域特征之间互信息的神经估计来选择顶点。
• 采用互信息目标识别最能代表其局部图结构的顶点，确保信息丰富且结构合理的粗化。
• 引入十字形特征交叉层，实现在网络每一层中相邻尺度之间的双向特征交换。
• 采用金字塔结构的GXN架构，包含多个并行尺度，每个尺度通过图卷积层处理图特征。
• 通过VIPool支持图池化和反池化，实现端到端训练，并建立直接的尺度间顶点对应关系。
• 评估三种图结构池化变体——边移除、Kron约简和聚类连接，发现聚类连接在准确率与效率之间提供了最佳平衡。

实验结果

研究问题

• RQ1 一种可训练的图池化机制，通过最大化顶点与邻域特征之间的互信息，能否提升多尺度图表示学习？
• RQ2 在图神经网络中，跨多个尺度的中间特征交叉是否优于晚期融合或跳跃连接策略？
• RQ3 所提出的GXN架构在图分类和顶点分类任务中，与现有多尺度GNN相比，在准确率和效率方面表现如何？
• RQ4 不同的图结构池化操作（如边移除、Kron约简、聚类连接）对模型性能和训练时间有何影响？
• RQ5 VIPool中顶点选择比例在多大程度上影响模型在多样化图数据集上的准确率和鲁棒性？

主要发现

• GXN在图分类任务上平均提升2.12%的准确率，在顶点分类任务上平均提升1.15%的准确率，优于当前最优方法。
• VIPool在多个数据集（包括Cora和IMDB-B）上持续优于其他图池化方法，归因于其基于信息论的顶点选择机制。
• 图结构池化中聚类连接变体在准确率与计算效率之间提供了最佳平衡，优于边移除和Kron约简。
• 实验表明，跨尺度的中间特征交叉显著提升了性能，且当更多层参与交叉融合时，性能增益更高。
• 当选择的顶点少于60%时，VIPool中的贪心顶点选择算法获得的互信息（C值）显著高于Top-K方法，表明其选择质量更优。
• 该模型在多种图类型上均保持强性能，且在引文网络和社会网络数据集上均观察到一致的性能提升。