[论文解读] KAN: Kolmogorov-Arnold Networks

Ziming Liu, Yixuan Wang+6 more|arXiv (Cornell University)|Apr 30, 2024

Computability, Logic, AI Algorithms被引用 481

一句话总结

KAN 将传统神经权重替换为可学习的边缘激活（样条），使网络更小、准确性更高且相对于多层感知机在可解释性方面有所提升；在数据拟合和偏微分方程求解上有所展示，并具备交互式符号洞见。

ABSTRACT

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.

研究动机与目标

• 通过在边上通过样条学习激活函数，将 Kolmogorov-Arnold 网络（KANs）引入作为 MLP 的替代方案。
• 在数据拟合与 PDE 求解中展示更高的准确性和参数效率，并建立神经尺度定律。
• 开发网格扩展和简化技术以提升准确性和可解释性。
• 展示可解释性工具（可视化、剪枝、符号化）以及在科学（数学/物理）中的协作应用。

提出的方法

• 将函数 f 表示为 Kolmogorov-Arnold 形式，使用一元函数与若干和实现为 KAN 层，其中激活是边函数。
• 用 B 样条参数化一维函数；实现层之间的函数激活矩阵（Φ_l），以替代权重矩阵。
• 使用残差激活设计和小心初始化；在训练过程中更新样条网格以适应激活幅度。
• 通过扩展深度和宽度形成更深的 KAN；给出一个理论近似界限（定理 2.1），显示基于网格大小的误差衰减。
• 引入网格扩展以在不从头重新训练的情况下细化精度；2) 稀疏化/熵正则化和剪枝以提高可解释性；3) 符号化界面用于交互式符号发现。
• 提供带可视化工具的可解释框架和用于符号回归启发式洞察的交互式工作流程。

Figure 0.1: Multi-Layer Perceptrons (MLPs) vs. Kolmogorov-Arnold Networks (KANs)

实验结果

研究问题

• RQ1 KANs 是否在具代表性的任务（数据拟合与 PDE 求解）中以更少参数实现比 MLP 更高的准确性？
• RQ2 在光滑的 Kolmogorov-Arnold 表示下，KANs 是否呈现有利的神经尺度定律？
• RQ3 网格扩展和稀疏化如何在不进行过多再训练的情况下提升 KAN 的准确性和可解释性？
• RQ4 KANs 如何通过可视化、剪枝和符号交互被用作科学发现的协作工具？

主要发现

• 一个两层、宽度为10的 KAN 在 PDE 求解中的准确性显著高于同任务的四层、宽度为100的 MLP（MSE 10^-7 对 10^-5），参数量少 100 倍（100 vs 10^4）。
• KANs 展示出更快的神经尺度定律，有效指数 alpha 最高可达 4（当 k=3 时，三次样条的 k+1），实验结果接近此上界。
• 网格扩展通过细化样条网格实现系统性精度提升，讨论了训练时间考量和插值阈值行为。
• 简化技术（使用类似 L1 的范数进行稀疏化加熵正则化、按节点重要性剪枝和符号化）带来更可解释的网络，并在如 exp(sin(pi x)+y^2) 的示例中实现交互式符号发现。
• 理论近似界限（定理 2.1）显示，具有有限网格的光滑 KAN 表示可以以误差按 CG^{-k-1+m} 下降来逼近光滑函数，表明在合适的表示下有潜力克服维数灾难。
• KANs 强调外部自由度与内部自由度的结合，将组成学习（外部）与可学习的一元函数（内部）结合起来，以实现结构与准确性的双重目标。

Figure 2.1: Our proposed Kolmogorov-Arnold networks are in honor of two great late mathematicians, Andrey Kolmogorov and Vladimir Arnold. KANs are mathematically sound, accurate and interpretable.