Skip to main content
QUICK REVIEW

[论文解读] KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning

Roman Bresson, Giannis Nikolentzos|arXiv (Cornell University)|Jun 26, 2024
Advanced Graph Neural NetworksComputer Science被引用 21
一句话总结

论文在节点分类、图分类、图回归等任务中将 Kolmogorov-Arnold Networks (KANs) 在 GNNs 中的应用(KAGIN, KAGCN)与传统基于 MLP 的 GNN(GIN, GCN)进行比较,发现 KANs 具竞争力,且在回归任务中具有优势。

ABSTRACT

In recent years, Graph Neural Networks (GNNs) have become the de facto tool for learning node and graph representations. Most GNNs typically consist of a sequence of neighborhood aggregation (a.k.a., message-passing) layers, within which the representation of each node is updated based on those of its neighbors. The most expressive message-passing GNNs can be obtained through the use of the sum aggregator and of MLPs for feature transformation, thanks to their universal approximation capabilities. However, the limitations of MLPs recently motivated the introduction of another family of universal approximators, called Kolmogorov-Arnold Networks (KANs) which rely on a different representation theorem. In this work, we compare the performance of KANs against that of MLPs on graph learning tasks. We implement three new KAN-based GNN layers, inspired respectively by the GCN, GAT and GIN layers. We evaluate two different implementations of KANs using two distinct base families of functions, namely B-splines and radial basis functions. We perform extensive experiments on node classification, link prediction, graph classification and graph regression datasets. Our results indicate that KANs are on-par with or better than MLPs on all tasks studied in this paper. We also show that the size and training speed of RBF-based KANs is only marginally higher than for MLPs, making them viable alternatives. Code available at https://github.com/RomanBresson/KAGNN.

研究动机与目标

  • 评估 KAN 在图学习中的表达能力与实用性,与 MLPs 相比。
  • 通过在 GIN/GCN 中用 KAN 层替换 MLP,开发 KAGIN 与 KAGCN 架构。
  • 在节点分类、图分类、图回归数据集上评估性能。
  • 分析基于 KAN 的 GNN 的训练效率与超参数影响。

提出的方法

  • 在 GIN 类与 GCN 类架构中用基于 MLP 的特征更新替换为 KAN 层,构建 KAGIN 与 KAGCN。
  • 在每个 KAN 层中使用带有单变量样条激活的 Kolmogorov-Arnold 表示,受网格大小和样条阶次控制。
  • 节点更新规则:h_v^(l) = KAN^(l)((1+ε)·h_v^(l-1) + sum_{u in N(v)} h_u^(l-1)).
  • 图表示通过求和读出得到,并根据模型类型传递给最终的 KAN 或 MLP 层。
  • 在不同数据集上用 Optuna 调整超参数,并与标准的 GIN/GCN 基线进行比较。

实验结果

研究问题

  • RQ1KAN 基 GNN(KAGIN、KAGCN)是否在节点和图分类任务中达到或超过基于 MLP 的 GNN(GIN、GCN)的性能?
  • RQ2KAN 基 GNN 在图回归任务中是否相较于其 MLP 基同类表现出优势?
  • RQ3KAN 超参数(网格大小、样条阶次)与模型宽度如何影响不同任务的准确性和训练时间?

主要发现

  • KAN 基的 GIN(KAGIN)在大多数节点分类数据集上优于 GIN,特别是在 Citeseer 和 Cora 上有显著提升。
  • KAN 基的 GCN(KAGCN)在多个数据集上优于 GCN,尤其在同质网络中表现突出,而在异质网络上也有类似的结果。
  • 在图分类中,KAGIN 与 GIN 的性能相近;KAGIN 在若干数据集上占优,但差异较小,ENZYMES 上 KAGIN 表现较差。
  • 在图回归中,KAGIN 在 ZINC-12K 和 QM9 上显著优于 GIN,表明回归对 KAN 的收益。
  • 基于 KAN 的模型的训练时间高于基于 MLP 的模型,并且随网格大小和样条阶次的增加而增加。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。