[论文解读] Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach

Wendong Bi, Lun Du+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出深度异质性图重布线（DHGR），一种新颖的图重布线方法，通过基于邻居标签和特征分布相似性，战略性地添加同质性边并修剪异质性边，以在异质性图上提升图神经网络（GNN）的性能。DHGR作为即插即用的预处理模块，无需修改网络架构，即可在11个公开数据集上显著提升GNN性能。

ABSTRACT

Graph Neural Networks (GNNs) are popular machine learning methods for modeling graph data. A lot of GNNs perform well on homophily graphs while having unsatisfactory performance on heterophily graphs. Recently, some researchers turn their attention to designing GNNs for heterophily graphs by adjusting the message passing mechanism or enlarging the receptive field of the message passing. Different from existing works that mitigate the issues of heterophily from model design perspective, we propose to study heterophily graphs from an orthogonal perspective by rewiring the graph structure to reduce heterophily and making the traditional GNNs perform better. Through comprehensive empirical studies and analysis, we verify the potential of the rewiring methods. To fully exploit its potential, we propose a method named Deep Heterophily Graph Rewiring (DHGR) to rewire graphs by adding homophilic edges and pruning heterophilic edges. The detailed way of rewiring is determined by comparing the similarity of label/feature-distribution of node neighbors. Besides, we design a scalable implementation for DHGR to guarantee high efficiency. DHRG can be easily used as a plug-in module, i.e., a graph pre-processing step, for any GNNs, including both GNN for homophily and heterophily, to boost their performance on the node classification task. To the best of our knowledge, it is the first work studying graph rewiring for heterophily graphs. Extensive experiments on 11 public graph datasets demonstrate the superiority of our proposed methods.

研究动机与目标

• 为解决传统GNN在异质性图上表现不佳的问题，其中相连节点通常属于不同类别。
• 探索图重布线作为异质性问题的正交解决方案，与修改GNN架构的方法相区分。
• 设计一种可扩展、可学习的图重布线方法，在不发生过拟合的前提下提升同质性。
• 通过预处理使现有GNN在异质性和同质性图上均表现更优。
• 验证重布线在降低异质性和提升节点分类准确率方面的有效性。

提出的方法

• DHGR通过在标签分布相似的节点之间添加边，并修剪标签分布不相似节点之间的边，重构输入图。
• 边的修改基于邻居之间标签和特征分布相似性的比较。
• 采用可微分且可扩展的优化策略，确保大规模图上的线性时间复杂度。
• 该方法作为即插即用的预处理步骤，将图结构与任何GNN模型中的消息传递过程解耦。
• 重布线过程通过聚焦于训练集节点来避免过拟合，同时保持结构完整性。
• 采用两阶段优化框架，实现重布线模块与GNN的端到端联合训练。

实验结果

研究问题

• RQ1 通过结构化重布线降低图的异质性，能否提升GNN在节点分类任务上的性能？
• RQ2 提升同质性水平对标准GNN在异质性图上的性能有何影响？
• RQ3 能否设计一种有效且可扩展的可学习图重布线方法，适用于大规模异质性图？
• RQ4 DHGR是否能在不同GNN架构上泛化，包括专为同质性或异质性设计的模型？
• RQ5 邻居分布相似性对最优边重布线决策有何影响？

主要发现

• DHGR在11个公开的异质性图数据集上显著提升了GNN性能，且在多种GNN架构上均表现出一致的性能增益。
• 该方法在多个基准数据集上达到最先进性能，优于专为同质性优化和异质性优化的GNN。
• 通过重布线提升同质性水平可带来更高的节点分类准确率，证实了核心假设。
• 消融实验表明，边的添加与修剪均对性能增益有显著贡献，其中标签分布相似性是关键因素。
• DHGR的可扩展实现保持了线性时间复杂度，使大规模图的高效应用成为可能。
• DHGR在同质性图上也表现出良好泛化能力，实现具有竞争力的性能且无性能下降。