[论文解读] Kolmogorov-Arnold Networks (KAN) for Time Series Classification and Robust Analysis

Chang Dong, Li Zheng+1 more|arXiv (Cornell University)|Aug 14, 2024

Neural Networks and Applications被引用 4

一句话总结

本文在128个UCR数据集上评估了Kolmogorov-Arnold网络（KAN）在时间序列分类中的表现，结果表明KAN的性能与MLP相当，同时由于Lipschitz常数较低，展现出更优的对抗鲁棒性。研究发现，基础函数主导了模型输出，且出人意料的是，KAN中更高的网格尺寸在增加Lipschitz常数的同时反而提升了鲁棒性。

ABSTRACT

Kolmogorov-Arnold Networks (KAN) has recently attracted significant attention as a promising alternative to traditional Multi-Layer Perceptrons (MLP). Despite their theoretical appeal, KAN require validation on large-scale benchmark datasets. Time series data, which has become increasingly prevalent in recent years, especially univariate time series are naturally suited for validating KAN. Therefore, we conducted a fair comparison among KAN, MLP, and mixed structures. The results indicate that KAN can achieve performance comparable to, or even slightly better than, MLP across 128 time series datasets. We also performed an ablation study on KAN, revealing that the output is primarily determined by the base component instead of b-spline function. Furthermore, we assessed the robustness of these models and found that KAN and the hybrid structure MLP\_KAN exhibit significant robustness advantages, attributed to their lower Lipschitz constants. This suggests that KAN and KAN layers hold strong potential to be robust models or to improve the adversarial robustness of other models.

研究动机与目标

• 评估Kolmogorov-Arnold网络（KAN）在大规模基准数据集上的时间序列分类（TSC）性能。
• 在相同配置下将KAN与传统MLP及混合架构（MLP_KAN、KAN_MLP）进行比较，以确保公平评估。
• 通过消融研究探究基础函数与B样条组件在KAN中的贡献。
• 在PGD无目标攻击下评估KAN及相关模型的对抗鲁棒性，并分析Lipschitz常数的作用。
• 解释KAN中更高网格尺寸反而提升鲁棒性的反直觉现象，尽管其Lipschitz常数随之增加。

提出的方法

• 将KAN应用于UCR数据集中128个单变量时间序列数据集，采用与MLP、MLP_KAN、KAN_MLP和MLP_L相同的公平比较设置。
• KAN架构在边上使用可学习激活函数（B样条），并通过消融分析显式研究基础函数和样条组件。
• 通过PGD无目标攻击评估对抗鲁棒性，$ε$取值范围为0.05至0.5，测量所有数据集上的攻击成功率（ASR）。
• 计算并比较各模型的Lipschitz常数，以关联鲁棒性与模型平滑性及梯度敏感性。
• 消融研究将基础函数与B样条组件分离，以评估其对模型输出和优化动态的独立贡献。
• 提出一个假设以解释高网格尺寸KAN的悖论性鲁棒性：尽管Lipschitz常数更高，但主导的基础函数与样条组件中的梯度错向可能降低有效攻击成功率。

Figure 1 : A three-layer KAN structure with the architecture [3-5-3-1].

实验结果

研究问题

• RQ1 KAN是否能在128个数据集的大规模基准上实现与MLP相当的时间序列分类性能？
• RQ2 基础函数与B样条函数在决定KAN输出方面，其相对贡献如何？
• RQ3 为何KAN在更大网格尺寸下表现出更强的对抗鲁棒性，尽管其Lipschitz常数更高？
• RQ4 KAN的Lipschitz常数与MLP及混合模型相比如何？其在多大程度上解释了鲁棒性差异？
• RQ5 为何大网格尺寸的KAN优化更困难？这如何影响模型性能？

主要发现

• KAN在全部128个UCR时间序列数据集上的分类性能与MLP相当，未观察到显著性能差距。
• 消融研究显示，基础函数对最终输出的贡献远大于B样条函数，移除基础函数会显著改变输出分布。
• 与MLP相比，KAN展现出更优的对抗鲁棒性，在$ε = 0.5$时，50%的数据集上攻击成功率（ASR）低于75%，优于MLP和KAN_MLP。
• MLP_KAN混合模型在所有测试模型中鲁棒性最佳，在$ε = 0.5$时，50%的数据集上ASR低于75%。
• 尽管Lipschitz常数更高，但大网格尺寸的KAN模型表现出更强的鲁棒性，表明样条组件中的梯度错向可能降低有效攻击成功率。
• 大网格尺寸的B样条函数优化困难，表现为输出分布狭窄且以零为中心，且测试准确率较低，表明在高网格数量下存在优化挑战。

(a) Test Accuracy of five models