[论文解读] Hierarchical Message-Passing Graph Neural Networks

Zhiqiang Zhong, Cheng–Te Li+1 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Graph Neural Networks参考文献 42被引用 7

一句话总结

本文提出分层消息传递图神经网络（HMGNNs），一种通过社区检测构建分层超图结构以增强长距离消息传递并捕捉多粒度语义的框架。所提出的HC-GNN模型在9个数据集上的节点分类、链接预测和社区检测任务中，于归纳式、直推式及少样本设置下均优于当前最先进GNN模型。

ABSTRACT

Graph Neural Networks (GNNs) have become a prominent approach to machine learning with graphs and have been increasingly applied in a multitude of domains. Nevertheless, since most existing GNN models are based on flat message-passing mechanisms, two limitations need to be tackled: (i) they are costly in encoding long-range information spanning the graph structure; (ii) they are failing to encode features in the high-order neighbourhood in the graphs as they only perform information aggregation across the observed edges in the original graph. To deal with these two issues, we propose a novel Hierarchical Message-passing Graph Neural Networks framework. The key idea is generating a hierarchical structure that re-organises all nodes in a flat graph into multi-level super graphs, along with innovative intra- and inter-level propagation manners. The derived hierarchy creates shortcuts connecting far-away nodes so that informative long-range interactions can be efficiently accessed via message passing and incorporates meso- and macro-level semantics into the learned node representations. We present the first model to implement this framework, termed Hierarchical Community-aware Graph Neural Network (HC-GNN), with the assistance of a hierarchical community detection algorithm. The theoretical analysis illustrates HC-GNN's remarkable capacity in capturing long-range information without introducing heavy additional computation complexity. Empirical experiments conducted on 9 datasets under transductive, inductive, and few-shot settings exhibit that HC-GNN can outperform state-of-the-art GNN models in network analysis tasks, including node classification, link prediction, and community detection. Moreover, the model analysis further demonstrates HC-GNN's robustness facing graph sparsity and the flexibility in incorporating different GNN encoders.

研究动机与目标

• 解决平面消息传递GNN在捕捉长距离依赖和高阶图语义方面的局限性。
• 通过构建具有层间与层内消息传递的分层超图结构，实现高效的长距离信息流动。
• 将中等尺度与宏观尺度的图语义（如社区与研究领域结构）整合到节点表示中。
• 设计一种兼容多种GNN编码器与分层社区检测算法的灵活框架。
• 在图稀疏性条件下验证模型鲁棒性，并在直推式、归纳式及少样本学习设置下展示泛化能力。

提出的方法

• 通过分层社区检测算法（如Louvain或Girvan–Newman）递归地将节点聚类为社区，构建分层超图。
• 在每个超图层级内引入层内消息传递，以聚合超节点间的局部信息。
• 在层级之间实现层间消息传递，通过捷径连接实现长距离信息流动。
• 使用主GNN编码器（如GCN、GAT、GCNII）在每个超节点内进行节点级表示学习。
• 采用两阶段消息传递机制：先在层级内部，再在层级之间进行，以同时保留局部与全局语义。
• 通过支持可互换的GNN编码器与分层结构生成方法，提升模型灵活性。

实验结果

研究问题

• RQ1 与平面消息传递相比，分层消息传递机制是否能改善GNN中的长距离信息聚合？
• RQ2 通过分层超图引入中等与宏观尺度语义，是否能增强节点表示学习？
• RQ3 在图稀疏性条件下（如因隐私或噪声导致边被移除），HC-GNN表现如何？
• RQ4 HC-GNN能否与先进的GNN编码器（如GCNII）有效结合以进一步提升性能？
• RQ5 该分层消息传递框架在直推式、归纳式及少样本学习设置下是否具备鲁棒性？

主要发现

• HC-GNN在9个基准数据集上的节点分类、链接预测与社区检测任务中均达到最先进性能。
• 在Cora、Citeseer与PubMed数据集上，HC-GNN结合GCNII分别取得了0.841、0.734与0.816的Micro-F1分数，超越了单独使用GCNII的性能。
• 在Cora与Citeseer的直推式节点分类任务中，HC-GNN相较GCN、GAT与GCNII提升了3.2–4.3%的Micro-F1分数。
• 在边移除比例为10%–50%的图稀疏性条件下，HC-GNN仍保持优于基线模型的性能，展现出对边丢失的鲁棒性。
• 基于Louvain算法构建的分层结构在性能上优于Girvan–Newman变体，表明分层结构质量对性能有显著影响。
• 消融实验表明，高级GNN编码器（如GCNII）可从HC-GNN的分层消息传递中获益，验证了该框架的兼容性与有效性。