[论文解读] DiffWire: Inductive Graph Rewiring via the Lovász Bound

Adrián Arnaiz-Rodríguez, Ahmed Begga+2 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出 DiffWire，一种可微分、归纳性且无需参数的图重连框架，用于消息传递神经网络（MPNNs），通过利用 Lovász 界来优化图拓扑。通过引入 CT-Layer（用于学习到达时间作为边重要性）和 GAP-Layer（用于谱间隙优化），DiffWire 有效缓解了过平滑、过挤压和欠传播问题，在无需超参数调优的情况下，实现了在同质性与异质性节点分类任务中的性能提升。

ABSTRACT

Graph Neural Networks (GNNs) have been shown to achieve competitive results to tackle graph-related tasks, such as node and graph classification, link prediction and node and graph clustering in a variety of domains. Most GNNs use a message passing framework and hence are called MPNNs. Despite their promising results, MPNNs have been reported to suffer from over-smoothing, over-squashing and under-reaching. Graph rewiring and graph pooling have been proposed in the literature as solutions to address these limitations. However, most state-of-the-art graph rewiring methods fail to preserve the global topology of the graph, are neither differentiable nor inductive, and require the tuning of hyper-parameters. In this paper, we propose DiffWire, a novel framework for graph rewiring in MPNNs that is principled, fully differentiable and parameter-free by leveraging the Lovász bound. The proposed approach provides a unified theory for graph rewiring by proposing two new, complementary layers in MPNNs: CT-Layer, a layer that learns the commute times and uses them as a relevance function for edge re-weighting; and GAP-Layer, a layer to optimize the spectral gap, depending on the nature of the network and the task at hand. We empirically validate the value of each of these layers separately with benchmark datasets for graph classification. We also perform preliminary studies on the use of CT-Layer for homophilic and heterophilic node classification tasks. DiffWire brings together the learnability of commute times to related definitions of curvature, opening the door to creating more expressive MPNNs.

研究动机与目标

• 为解决 MPNN 中的过平滑、过挤压和欠传播问题，这些问题是长程与复杂图任务性能受限的关键原因。
• 克服现有图重连方法的局限性，包括不可微分性、缺乏归纳性以及对可调超参数的依赖。
• 开发一种基于原理、无需参数的框架，在保持全局图拓扑结构的同时提升消息传递效率。
• 通过 Lovász 界统一连接到达时间、有效电阻与谱间隙的概念，用于图重连。

提出的方法

• 利用 Lovász 界将有效电阻（到达时间）与谱间隙关联，为图重连提供理论基础。
• 提出 CT-Layer，基于学习到的到达时间计算边的重要性，以可微方式重加权边。
• 提出 GAP-Layer，通过优化谱间隙来改善信息流动并减少图中的瓶颈。
• 利用 Lovász 界推导出统一目标函数，平衡图的局部与全局结构特性。
• 在两阶段 GNN 设置中应用该框架：首先通过 CT-Layer 或 GAP-Layer 计算变换后的邻接矩阵，然后在标准 GCN 层中使用。
• 初始实现采用密集矩阵表示，未来工作计划扩展至稀疏图。

实验结果

研究问题

• RQ1 可微分、归纳性且无需参数的图重连方法是否能提升 MPNN 在节点分类与图分类任务中的性能？
• RQ2 通过 Lovász 界使用到达时间，对模型在多样化图拓扑上的泛化能力有何影响？
• RQ3 通过 GAP-Layer 优化谱间隙，在多大程度上能减少过挤压并改善长程消息传递？
• RQ4 CT-Layer 在同质性与异质性图中是否表现一致，且不受同质性或瓶颈大小的影响？
• RQ5 该框架是否能在无需超参数调优的情况下跨数据集泛化，特别是在类别不平衡的情况下？

主要发现

• CT-Layer 在同质性与异质性节点分类任务中均显著提升性能，展现出在多样化图结构上的鲁棒性。
• 模型在预测误差与图同质性或谱间隙（λ₂）之间无系统性相关性，表明其在拓扑变化下的泛化能力。
• GAP-Layer 通过优化谱间隙，生成更紧凑但信息丰富的节点嵌入，有效减少消息传递中的瓶颈。
• MinCut 基础的池化方法因表达能力有限导致表征坍塌，而 DiffWire 保持了结构保真度与信息丰富性。
• 该框架在无需超参数调优的情况下实现性能提升，验证了其归纳性与无参特性。
• 在所有同质性水平与瓶颈大小下，正确与错误预测的比例保持平衡，证实了其稳定的泛化能力。