[论文解读] GraphKAN: Enhancing Feature Extraction with Graph Kolmogorov Arnold Networks

Fan Zhang, Xin Zhang|arXiv (Cornell University)|Jun 19, 2024

Graph Theory and Algorithms被引用 12

一句话总结

GraphKAN 用 Kolmogorov-Arnold Networks (KANs) 替代 Graph Neural Networks 中的 MLP 和激活函数，以提高图形数据的节点特征提取能力，尽管计算时间成本更高，但在分类准确性方面表现更佳。

ABSTRACT

Massive number of applications involve data with underlying relationships embedded in non-Euclidean space. Graph neural networks (GNNs) are utilized to extract features by capturing the dependencies within graphs. Despite groundbreaking performances, we argue that Multi-layer perceptrons (MLPs) and fixed activation functions impede the feature extraction due to information loss. Inspired by Kolmogorov Arnold Networks (KANs), we make the first attempt to GNNs with KANs. We discard MLPs and activation functions, and instead used KANs for feature extraction. Experiments demonstrate the effectiveness of GraphKAN, emphasizing the potential of KANs as a powerful tool. Code is available at https://github.com/Ryanfzhang/GraphKan.

研究动机与目标

• 为非欧几里得图数据中的 MLP 特征提取在 GNN 中的局限性提供动机并予以解决。
• 通过用基于 KAN 的特征提取替换 MLP 和激活函数来引入 GraphKAN。
• 通过 LayerNorm 稳定训练并在真实世界的类似图的时序信号数据上进行节点分类评估。
• 在准确性和计算成本方面将 GraphKAN 与标准 GCN 基线进行比较。

提出的方法

• 通过用 KAN 基提取器替代 U^t(h_v^t, m_v^{t+1})，以单变量样条函数为实现，将特征提取在 GraphKAN 中扎根。
• 将 KAN 层定义为 h_v^{t+1} = KAN^t(h_v^t, m_v^{t+1}) = Φ^t(m_v^{t+1})，其中 Φ^t 以 B-spline 实现。
• 采用基于 GCN 的简单 GraphKAN 变体，其中消息函数使用 deg(v)^{-1/2} A_{uw} h_w^t，并整合基于 KAN 的提取器以获得节点表示。
• 在 GraphKAN 层之间加入 LayerNorm 以稳定训练。
• 在多种基础图（BGs）上比较 GraphKAN 与 GCN 基线在节点分类上的性能，标签/未标签节点分割比例不同。

实验结果

研究问题

• RQ1 将 MLP/激活函数替换为 KAN 能否改善图结构数据上的特征提取和节点分类准确性？
• RQ2 GraphKAN 相对于传统 GCN 在小样本或低标注情形中的表现如何？
• RQ3 在 GNN 中引入基于 KAN 的特征提取对训练时间和稳定性有何影响？

主要发现

• GraphKAN 在 BG_3 和 BG_4 上的测试准确率高于 GCN 基线。
• GraphKAN 的计算时间显著高于 GCN，这归因于 KAN 的计算，但在所报道的设置中总时间仍低于一分钟。
• t-SNE 对中间特征的聚类显示 GraphKAN 对相似类型的簇更紧密、对不同类型的分离更好，表明特征提取有所提升。
• 当标注节点数量较少时，GraphKAN 的性能提升更为显著，表明对少样本分类任务潜在有利。
• GraphKAN 层之间的 LayerNorm 有助于优化过程中的训练稳定性。