[论文解读] Graph-Coupled Oscillator Networks

T. Konstantin Rusch, Benjamin Paul Chamberlain+3 more|arXiv (Cornell University)|Feb 4, 2022

Neural Networks and Reservoir Computing被引用 9

一句话总结

本论文提出图耦合振子网络（Graph-Coupled Oscillator Networks, GraphCON），一种新颖的图深度学习框架，其基于时间离散化的二阶常微分方程（ODE）建模阻尼、非线性振子，并通过图结构进行耦合。通过将 ODE 的时间步解释为网络的层，GraphCON 有效缓解了过平滑问题及梯度消失/爆炸问题，在节点分类与图分类任务中实现了最先进性能，相较于标准图神经网络（GNN），其表达能力与可训练性均得到提升。

ABSTRACT

We propose Graph-Coupled Oscillator Networks (GraphCON), a novel framework for deep learning on graphs. It is based on discretizations of a second-order system of ordinary differential equations (ODEs), which model a network of nonlinear controlled and damped oscillators, coupled via the adjacency structure of the underlying graph. The flexibility of our framework permits any basic GNN layer (e.g. convolutional or attentional) as the coupling function, from which a multi-layer deep neural network is built up via the dynamics of the proposed ODEs. We relate the oversmoothing problem, commonly encountered in GNNs, to the stability of steady states of the underlying ODE and show that zero-Dirichlet energy steady states are not stable for our proposed ODEs. This demonstrates that the proposed framework mitigates the oversmoothing problem. Moreover, we prove that GraphCON mitigates the exploding and vanishing gradients problem to facilitate training of deep multi-layer GNNs. Finally, we show that our approach offers competitive performance with respect to the state-of-the-art on a variety of graph-based learning tasks.

研究动机与目标

• 解决图神经网络（GNN）中的过平滑问题，即在深层架构中节点表征趋于不可区分。
• 克服阻碍深层 GNN 训练的梯度消失与梯度爆炸问题。
• 构建一个灵活的框架，可将任意标准 GNN 层（如 GCN、GAT）作为动态 ODE 架构中的耦合函数进行集成。
• 提供关于稳定性与梯度行为的理论保证，以增强模型的可训练性与表达能力。
• 在多样化的图学习基准上展示竞争力的性能表现，涵盖直推式与归纳式设置，以及异质性图。

提出的方法

• 建立一个非线性二阶 ODE 系统，用于在图上建模阻尼、受控振子，其中节点动力学由可学习的耦合函数 Fθ 控制。
• 采用显式时间推进格式对 ODE 系统进行离散化，其中每个时间步对应一个深层 GNN 的层，从而支持端到端训练。
• 引入辅助速度变量 Y，将二阶 ODE 转化为一阶系统，以实现稳定的数值积分。
• 使用任意标准 GNN 层（如 GCN、GAT）作为耦合函数 Fθ，使 GraphCON 可作为即插即用的封装模块集成至现有 GNN 模型中。
• 分析零狄利克雷能量稳态的稳定性，从数学上将过平滑问题与 ODE 动力学的不稳定性相联系。
• 证明 ODE 系统的动力学特性可防止节点特征收敛至常数，从而在构造上缓解过平滑问题。

实验结果

研究问题

• RQ1 基于耦合振子的动力系统是否可用于构建一种避免过平滑问题的深层 GNN？
• RQ2 GraphCON 的 ODE 基架构是否能缓解深层 GNN 中常见的梯度消失与梯度爆炸问题？
• RQ3 GraphCON 是否能在多样化的图学习任务中实现最先进性能，同时保持架构灵活性？
• RQ4 底层 ODE 系统中稳态的稳定性与 GNN 中的过平滑现象之间存在何种关联？
• RQ5 与标准堆叠式 GNN 层相比，ODE 系统的动态行为在多大程度上提升了模型的表达能力？

主要发现

• GraphCON-GCN 在 MNIST 超像素图分类任务中达到 98.70% 的测试准确率，显著优于参数量相同的基准 GCN（88.89%）。
• GraphCON-GAT 在同一 MNIST 超像素任务中达到 98.91% 的测试准确率，超越此前最先进模型 PNCNN（98.76%）及其他基线模型。
• GraphCON-GCN 将 Cora 节点分类误差降低至 0.22±0.004，优于最佳基线 DGN（0.22±0.010），并显著优于 GCN（0.47±0.002）。
• GraphCON-GAT 在 Cora 上实现 0.23±0.004 的误差，优于 GAT（0.46±0.002），在直推式节点分类任务中展现出更优的泛化能力。
• 理论分析表明，零狄利克雷能量稳态（即常数节点特征）在 GraphCON 中并非指数稳定，从而证明过平滑问题在构造上已被缓解。
• 实验结果表明，GraphCON 在所有评估任务中均持续优于其基线 GNN 模型（如 GCN、GAT、GIN 等），包括归纳式与异质性图学习设置。