[论文解读] MGNNI: Multiscale Graph Neural Networks with Implicit Layers

Juncheng Liu, Bryan Hooi+2 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

MGNNI 提出了一种具有隐式层的多尺度图神经网络，克服了先前隐式 GNN 在有效范围有限和缺乏多尺度建模方面的缺陷。通过引入具有可学习注意力机制的多尺度特定传播机制，MGNNI 在节点分类和图分类任务中均实现了卓越性能，展示了在真实世界和合成数据集上对长距离依赖关系的扩展捕捉能力以及改进的多尺度特征学习能力。

ABSTRACT

Recently, implicit graph neural networks (GNNs) have been proposed to capture long-range dependencies in underlying graphs. In this paper, we introduce and justify two weaknesses of implicit GNNs: the constrained expressiveness due to their limited effective range for capturing long-range dependencies, and their lack of ability to capture multiscale information on graphs at multiple resolutions. To show the limited effective range of previous implicit GNNs, We first provide a theoretical analysis and point out the intrinsic relationship between the effective range and the convergence of iterative equations used in these models. To mitigate the mentioned weaknesses, we propose a multiscale graph neural network with implicit layers (MGNNI) which is able to model multiscale structures on graphs and has an expanded effective range for capturing long-range dependencies. We conduct comprehensive experiments for both node classification and graph classification to show that MGNNI outperforms representative baselines and has a better ability for multiscale modeling and capturing of long-range dependencies.

研究动机与目标

• 识别并分析现有隐式 GNN 的有效范围受限问题，尽管其理论上具有无限深度，但仍限制了其捕捉长距离依赖关系的能力。
• 解决隐式 GNN 缺乏多尺度信息建模的问题，使其无法在多分辨率下捕捉图特征。
• 提出 MGNNI，一种新型的隐式 GNN 架构，整合了多尺度传播机制并扩展了有效范围，以支持长距离依赖关系学习。
• 通过实证验证 MGNNI 在多样化基准数据集上捕捉长距离和多尺度图结构的优越性能。

提出的方法

• 对隐式 GNN 中迭代方程的收敛性与有效范围之间的关系进行理论分析，表明收缩因子限制了长距离信息传播。
• 设计 MGNNI，包含多个针对不同尺度的隐式层，每一层在不同邻域距离（如 1-跳、2-跳、3-跳）上捕捉图信息。
• 采用可学习的注意力权重，动态融合来自不同尺度的表示，使节点能够自适应地选择相关信息源。
• 利用隐式微分实现高效反向传播，保持恒定的内存复杂度，从而保留隐式模型的可扩展性优势。
• 采用具有收敛保证的迭代求解器，计算每个尺度特定层的固定点解。
• 通过可学习的聚合机制整合多尺度表示，增强模型表达能力，同时不增加网络深度。

实验结果

研究问题

• RQ1 尽管具有理论上的无限深度，先前隐式 GNN 的有效范围受什么因素限制？
• RQ2 隐式 GNN 能否被扩展以建模多尺度图结构？如果可以，如何实现？
• RQ3 在隐式 GNN 中引入多尺度是否能提升其捕捉长距离依赖关系的能力？
• RQ4 图中不同节点对不同尺度的信息偏好如何？模型能否适应这种偏好？

主要发现

• MGNNI 在 6 个节点分类数据集中的 5 个上达到最先进性能，包括在 PPI 数据集上达到 98.74% 的准确率，显著优于基线模型。
• 在图分类任务中，MGNNI 在 4 个生物信息学数据集中的 3 个以及两个 IMDB 数据集上均取得最高准确率，表明其在归纳设置下具有强大的泛化能力。
• 消融实验表明，多尺度变体（如 {1,2,3}）始终优于单尺度模型，其中 {1,2,3} 在 PPI 上达到 98.74% 的准确率，在 Chameleon 上达到 63.75%。
• MGNNI 中的注意力权重显示，不同图更偏好不同尺度——PPI 更强调高阶尺度，而 Chameleon 更依赖一阶邻居。
• 该模型在多种图类型上表现稳健，表明通过尺度感知注意力机制，能够有效适应不同图属性。
• 通过在长距离依赖任务上的合成实验验证，MGNNI 相较于先前的隐式 GNN 显著扩展了有效范围。