[论文解读] Graph Neural Networks are Dynamic Programmers

Andrew Dudzik, Petar Veličković|arXiv (Cornell University)|Mar 29, 2022

Machine Learning in Materials Science被引用 9

一句话总结

本文建立了图神经网络（GNNs）与动态规划（DP）之间严谨的范畴论与代数基础，证明GNNs通过图示积分变换自然实现DP。本文提出一种新型GNN变体$V^3$，其尊重多项式跨度，且在CLRS基准的边中心算法任务中取得最先进性能，验证了其更优的算法对齐性。

ABSTRACT

Recent advances in neural algorithmic reasoning with graph neural networks (GNNs) are propped up by the notion of algorithmic alignment. Broadly, a neural network will be better at learning to execute a reasoning task (in terms of sample complexity) if its individual components align well with the target algorithm. Specifically, GNNs are claimed to align with dynamic programming (DP), a general problem-solving strategy which expresses many polynomial-time algorithms. However, has this alignment truly been demonstrated and theoretically quantified? Here we show, using methods from category theory and abstract algebra, that there exists an intricate connection between GNNs and DP, going well beyond the initial observations over individual algorithms such as Bellman-Ford. Exposing this connection, we easily verify several prior findings in the literature, produce better-grounded GNN architectures for edge-centric tasks, and demonstrate empirical results on the CLRS algorithmic reasoning benchmark. We hope our exposition will serve as a foundation for building stronger algorithmically aligned GNNs.

研究动机与目标

• 正式建立并量化GNNs与动态规划（DP）之间的理论联系，超越零散的类比。
• 解决尽管理论对齐性宣称成立，但某些GNN架构在算法任务上泛化能力差的系统性理解缺失问题。
• 利用范畴论与抽象代数构建一个原则性框架，识别与特定类DP算法更匹配的GNNs。
• 通过实证验证：尊重多项式跨度的GNN架构在边中心算法推理任务上表现更优。
• 在单一范畴抽象下统一先前神经算法推理的研究成果，实现更优对齐GNNs的系统化设计。

提出的方法

• 将GNNs与DP形式化为范畴论中的图示计算，使用拉回、前推与交换幺半群建模消息传递与子问题重组。
• 引入积分变换框架，将GNN消息传递与DP递推关系统一为单一范畴构造。
• 定义多项式跨度结构以建模DP中子问题的依赖结构，指导GNN消息与更新函数的设计。
• 提出新型GNN变体$V^3$，其架构显式尊重目标DP算法的多项式跨度，提升算法对齐性。
• 使用两层MLP实现$V^3$，嵌入维度为24，隐藏层宽度为8/16，于CLRS基准上训练并实现分布外泛化。
• 在CLRS的27项任务中评估性能，对比$V^3$与基线$V^2$及最先进PGN处理器，涵盖边中心与非边中心任务。

实验结果

研究问题

• RQ1 能否超越Bellman-Ford等孤立案例，利用范畴论与抽象代数形式化GNN-DP之间的联系？
• RQ2 如何利用DP算法的范畴结构设计出算法对齐性更优、样本复杂度更低的GNN？
• RQ3 在GNN中强制实施多项式跨度结构是否能在算法推理基准上带来可测量的性能提升？
• RQ4 尊重DP图示结构的GNN在多样化算法任务上的泛化能力提升程度如何？
• RQ5 能否通过统一的范畴框架整合先前关于GNN算法对齐的研究，并指导更强神经算法推理器的设计？

主要发现

• 所提出的$V^3$ GNN变体，其架构尊重目标DP算法的多项式跨度，在CLRS基准的全部六项边中心算法中均优于基线$V^2$。
• 在Dijkstra算法上，$V^3$实现68.53%的分布外准确率，较$V^2$的59.58%提升9.0个百分点。
• 在插入排序任务中，$V^3$达到24.67%准确率，较$V^2$的15.39%提升9.3个百分点。
• 在包含27项任务的完整CLRS基准中，$V^3$将平均性能提升2.73个百分点（从35.20%提升至37.70%）。
• $V^3$在边中心任务上表现一致提升（平均+4.44%），在非边中心任务上实现适度改进（平均+1.01%）。
• 通过范畴论的理论分析表明，先前关于算法对齐的研究成果可自然作为所提积分变换框架的推论出现。