[论文解读] Implicit Graph Neural Networks

Fangda Gu, Heng Chang+3 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Graph Neural Networks参考文献 53被引用 45

一句话总结

IGNN 引入了一个基于隐式定点的图神经网络框架，具备基于 PF 的良定性，通过投影梯度和隐式求导进行训练，实现对长程依赖的强建模，并扩展到异构图。

ABSTRACT

Graph Neural Networks (GNNs) are widely used deep learning models that learn meaningful representations from graph-structured data. Due to the finite nature of the underlying recurrent structure, current GNN methods may struggle to capture long-range dependencies in underlying graphs. To overcome this difficulty, we propose a graph learning framework, called Implicit Graph Neural Networks (IGNN), where predictions are based on the solution of a fixed-point equilibrium equation involving implicitly defined "state" vectors. We use the Perron-Frobenius theory to derive sufficient conditions that ensure well-posedness of the framework. Leveraging implicit differentiation, we derive a tractable projected gradient descent method to train the framework. Experiments on a comprehensive range of tasks show that IGNNs consistently capture long-range dependencies and outperform the state-of-the-art GNN models.

研究动机与目标

• 解决有限跳数 GNNs 在捕捉图上长程依赖方面的局限性。
• 提供一个使用 Perron-Frobenius 理论的稳态 GNN 的数学良定性框架。
• 通过投影梯度下降和隐式求导开发一个可行的训练方法。
• 将 IGNN 扩展到具有关系特定参数的异构网络。
• 在节点和图分类任务上证明 IGNN 相对于最先进的 GNN 的经验优势。

提出的方法

• 将 IGNN 的预测定义为 Y = f_Θ(X)，其中 X 满足稳态方程 X = φ(W X A + b_Ω(U))。
• 使用 CONE（逐分量非扩张）激活 φ 和 PF 理论导出 X 的存在性和唯一性的充分条件。
• 通过投影以强制良定性约束 ||W||_∞ ≤ κ/λ_pf(A) 进行投影梯度下降训练，并通过隐式求导计算精确梯度。
• 扩展到异构网络：X = φ(∑_i (W_i X A_i + b_{Ω_i}(U_i))).
• 为异构设置中的训练提供数值上可行的凸性条件：∑_i ||A_i||_1 ||W_i||_∞ ≤ κ < 1。
• 对于正齐次的 φ，PF 条件可以通过重新缩放 W 来满足（定理 4.3）。

实验结果

研究问题

• RQ1 在给定的图和激活选择下，能否保证平衡（隐式）GNN 的节点表示存在唯一解？
• RQ2 在保持良定性的同时，IGNN 能否利用隐式求导以精确梯度高效训练？
• RQ3 与有限迭代 GNN 相比，IGNN 是否在多样化任务中更好地捕获长程依赖？
• RQ4 在具有多种关系类型的异构图上，IGNN 的表现与最先进基线相比如何？
• RQ5 IGNN 在节点和图分类基准测试中带来哪些经验提升？

主要发现

• IGNN 一致地捕捉长程依赖，在广泛任务上优于最先进的 GNN。
• 在合成 Chains 数据上，随着链长增加，IGNN 的表现优于有限迭代的 GNN，而有限 T 次迭代的 GNN 随着链变长而失效。
• 在 PPI 节点分类中，IGNN 的 Micro-F1 达到 97.6%，高于 SSE（83.6%）并略高于 GAT（97.3%）。
• 在 Amazon 多标签节点分类任务中，IGNN 随监督信号增加而超越基线，并具备稳健的长程依赖处理。
• 图分类结果显示 IGNN 在5个数据集中的4个数据集取得最佳性能，数据集级别最佳值包括 MUTAG: 89.3±6.7, PTC: 70.1±5.6, COX2: 86.9±4.0, PROTEINS: 77.7±3.4, NCI1: 80.5±1.9。
• 在异构网络（ ACM、IMDB、DBLP ）上，IGNN 在 ACM 和 IMDB 获得最佳性能，在 DBLP 上具有竞争力的结果（在 ACM/IMDB 方面最好；在 DBLP 方面具有竞争力）。