[论文解读] fKAN: Fractional Kolmogorov-Arnold Networks with trainable Jacobi basis functions

Alireza Afzal Aghaei|arXiv (Cornell University)|Jun 11, 2024

Mathematical Analysis and Transform Methods被引用 4

一句话总结

该论文提出 fKAN，一种新型神经网络架构，其在柯尔莫哥洛夫-阿诺德网络（Kolmogorov-Arnold Network, KAN）框架内，用可训练的分数阶雅可比基函数替代传统激活函数。通过利用分数阶雅可比多项式的数学特性（如导数表达式简单、非多项式行为），该模型在深度学习与物理信息学习任务中表现出色，包括回归、图像去噪以及求解常微分方程、偏微分方程和分数阶延迟微分方程，训练速度更快、精度更高，优于标准 KAN 及其他激活函数。

ABSTRACT

Recent advancements in neural network design have given rise to the development of Kolmogorov-Arnold Networks (KANs), which enhance speed, interpretability, and precision. This paper presents the Fractional Kolmogorov-Arnold Network (fKAN), a novel neural network architecture that incorporates the distinctive attributes of KANs with a trainable adaptive fractional-orthogonal Jacobi function as its basis function. By leveraging the unique mathematical properties of fractional Jacobi functions, including simple derivative formulas, non-polynomial behavior, and activity for both positive and negative input values, this approach ensures efficient learning and enhanced accuracy. The proposed architecture is evaluated across a range of tasks in deep learning and physics-informed deep learning. Precision is tested on synthetic regression data, image classification, image denoising, and sentiment analysis. Additionally, the performance is measured on various differential equations, including ordinary, partial, and fractional delay differential equations. The results demonstrate that integrating fractional Jacobi functions into KANs significantly improves training speed and performance across diverse fields and applications.

研究动机与目标

• 开发一种新型神经网络架构，通过将分数阶正交雅可比多项式作为可学习激活函数，提升模型的可解释性、准确性和训练速度。
• 通过引入具有非多项式行为和简单导数的更灵活、自适应基函数，解决固定激活函数（如 ReLU 的神经元死亡问题）和传统 KAN 的局限性。
• 在多样化的深度学习与物理信息学习任务中评估所提出的 fKAN 模型，包括回归、图像分类、去噪以及微分方程求解。
• 证明分数阶雅可比函数可作为高效、可训练的基函数，在准确性和收敛速度方面优于标准 KAN 及其他激活函数。
• 探索在神经网络层中使用分数阶导数求解复杂微分方程（包括分数阶延迟微分方程）的可行性与性能。

提出的方法

• fKAN 架构将 KAN 中基于样条的 1D 函数替换为可训练的分数阶雅可比基函数，实现自适应、非多项式激活学习。
• 基函数源自分数阶正交雅可比多项式，具有闭式导数表达式，并在正负输入下均保持活跃。
• 网络采用基于柯尔莫哥洛夫-阿诺德表示定理的功能逼近框架，其中每条边应用一个可学习的 1D 函数，而非线性权重。
• 在物理信息学习中，使用包含数据损失和残差损失的损失函数，尤其适用于微分方程求解。
• 求解分数阶微分方程时，通过下三角微分运算矩阵实现 Caputo 分数阶导数，支持使用 L-BFGS 优化的端到端训练。
• 架构采用多层设计，包含 fJNB（分数阶雅可比神经基函数）层，后接全连接层和最终的回归头，输入维度根据具体问题（如 PDE 中的时间与空间变量）进行调整。

Figure 2: The architecture of the fractional Jacobi neural block proposed in formula ( 1 ), featuring trainable parameters $\alpha$ , $\beta$ , and $\gamma$ . This block serves as an adaptive activation function, enabling the network to learn optimal values for these parameters during training. The

实验结果

研究问题

• RQ1 分数阶雅可比多项式能否作为 KAN 中有效且可训练的基函数，从而在多样化深度学习任务中提升模型性能？
• RQ2 与标准 KAN 及固定激活函数相比，分数阶雅可比函数的引入在训练速度、泛化能力与可解释性方面有何影响？
• RQ3 在物理信息深度学习设置下，fKAN 在求解复杂微分方程（包括常微分方程、偏微分方程和分数阶延迟微分方程）方面能达到何种精度？
• RQ4 在回归、图像分类和去噪任务中，fKAN 在测试精度与收敛速度方面相比基线模型具有哪些定量优势？
• RQ5 分数阶雅可比函数的数学特性（如非多项式行为与简单导数）如何促进神经网络中更优的优化动力学？

主要发现

• 在合成回归、图像分类、图像去噪和情感分析任务中，fKAN 的训练收敛速度显著快于标准 KAN 及其他激活函数，且测试精度更高。
• 模型在求解 Burgers' PDE 时表现出高精度，预测解与精确解析解高度吻合，如图 10 所示，对两组参数（如 $m_0=1, m_1=0.01, m_2=0.1$ 和 $m_0=0.1, m_1=0.0001, m_2=0.5$）均表现优异。
• 在分数阶延迟微分方程求解中，fKAN 能够以低残差误差成功逼近解，尽管由于多 fJNB 架构的复杂性，残差存在波动。
• 使用分数阶雅可比基函数可有效学习非多项式、非线性模式，尤其在涉及分数阶导数的问题中表现突出。
• 尽管由于基函数的全局性质，fKAN 的时间复杂度较高且可解释性弱于标准 KAN，但在所有评估任务中仍优于基线模型。
• 无论网络深度与宽度如何，fKAN 性能均具鲁棒性，使用可训练分数阶雅可比函数相比固定或标准 KAN 基函数，损失与准确率持续提升。

(a) Utilizing fJNB in a sequential architecture, where the value of $q$ may vary for each block. This flexibility allows for the incorporation of different fractional Jacobi basis functions with varying degrees of complexity across successive blocks in the network. By adapting the value of $q$ , the