[论文解读] Exploring the Potential of Polynomial Basis Functions in Kolmogorov-Arnold Networks: A Comparative Study of Different Groups of Polynomials

Seyd Teymoor Seydi|arXiv (Cornell University)|May 30, 2024

Advanced Mathematical Theories and Applications被引用 9

一句话总结

该论文将18个多项式基作为 KAN（Kolmogorov-Arnold Network）输入进行综述，评估它们在 MNIST 上的性能，并在变体中识别 Gottlieb-KAN 为表现最佳者。

ABSTRACT

This paper presents a comprehensive survey of 18 distinct polynomials and their potential applications in Kolmogorov-Arnold Network (KAN) models as an alternative to traditional spline-based methods. The polynomials are classified into various groups based on their mathematical properties, such as orthogonal polynomials, hypergeometric polynomials, q-polynomials, Fibonacci-related polynomials, combinatorial polynomials, and number-theoretic polynomials. The study aims to investigate the suitability of these polynomials as basis functions in KAN models for complex tasks like handwritten digit classification on the MNIST dataset. The performance metrics of the KAN models, including overall accuracy, Kappa, and F1 score, are evaluated and compared. The Gottlieb-KAN model achieves the highest performance across all metrics, suggesting its potential as a suitable choice for the given task. However, further analysis and tuning of these polynomials on more complex datasets are necessary to fully understand their capabilities in KAN models. The source code for the implementation of these KAN models is available at https://github.com/seydi1370/Basis_Functions .

研究动机与目标

• 为 KAN 用途提供18个多项式及其性质的结构化概览。
• 使用这些多项式对 KAN 模型在 MNIST 上进行评估以评估性能。
• 分析模型复杂度（参数数量）、训练时间与准确度之间的关系，以指导模型选择。

提出的方法

• 将18个多项式分为若干组（正交、超几何、q-多项式、与斐波那契相关、组合、数论）。
• 在 Kolmogorov-Arnold 架构中使用每个多项式作为基函数构建 KAN 模型。
• 在 MNIST 上训练并评估模型，使用指标：总体准确率、Kappa 与 F1 分数。
• 比较性能并分析参数数量和训练时间如何与准确度相关。

实验结果

研究问题

• RQ1 在 MNIST 上作为 KAN 基函数使用时，哪些多项式组能够获得最佳的准确率、Kappa 与 F1 分数？
• RQ2 不同多项式基的 KAN 在模型复杂度（参数数量）和训练时间上与性能之间有哪些关系？

主要发现

模型	总体准确率	Kappa	F1分数
Fermat-KAN	0.9619	0.9577	0.9619
AlSalam-Carlitz-KAN	0.9675	0.9639	0.9675
BannaiIto-KAN	0.9670	0.9633	0.9670
Boas-Buck-KAN	0.9663	0.9625	0.9663
Boubaker-KAN	0.9731	0.9701	0.9731
Charlier-KAN	0.9726	0.9695	0.9726
Gottlieb-KAN	0.9759	0.9732	0.9759
Heptanacci-KAN	0.9426	0.9362	0.9426
Hexanacci-KAN	0.9641	0.9601	0.9641
Meixner-Pollacze-KAN	0.9703	0.9670	0.9703
Narayana-KAN	0.9723	0.9692	0.9723
Octanacci-KAN	0.9688	0.9653	0.9688
Pado-KAN	0.9653	0.9614	0.9653
Pentanacci-KAN	0.9542	0.9491	0.9542
Tetranacci-KAN	0.9675	0.9639	0.9675
Tribo-KAN	0.9569	0.9521	0.9569
Vieta-Pell-KAN	0.9749	0.9721	0.9749
Askey-Wilson-KAN	0.9693	0.9659	0.9693

• Gottlieb-KAN 取得最高的总体准确率（0.9759）、最高的 Kappa（0.9732）和最高的 F1 分数（0.9759）。
• 其他若干多项式也达到较高性能，准确率大致在一个窄的区间内（0.9542–0.9759）。
• Gottlieb-KAN 拥有最大的参数数量（219,907）且训练时间相对较快（923.96 s），提示复杂性与性能之间可能存在部分关联。
• Askey-KAN 在列出的模型中参数最少（105,871）但训练时间最长（2,418.00 s），表明训练时间受到除参数数量之外的因素影响。
• 研究指出需要在更复杂的数据集上调整这些多项式，以更好地理解它们在 KAN 模型中的能力。
• 未来工作应探索更多数据集、架构和超参数以帮助模型选择。