[论文解读] SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series

Hugo Inzirillo, Rémi Genet|arXiv (Cornell University)|Jun 25, 2024

Time Series Analysis and Forecasting被引用 5

一句话总结

SigKAN 引入可学习的路径特征以对 Kolmogorov-Arnold Networks 加权以用于多变量时间序列，显示在若干基线之上改进的函数逼近和预测性能。

ABSTRACT

We propose a novel approach that enhances multivariate function approximation using learnable path signatures and Kolmogorov-Arnold networks (KANs). We enhance the learning capabilities of these networks by weighting the values obtained by KANs using learnable path signatures, which capture important geometric features of paths. This combination allows for a more comprehensive and flexible representation of sequential and temporal data. We demonstrate through studies that our SigKANs with learnable path signatures perform better than conventional methods across a range of function approximation challenges. By leveraging path signatures in neural networks, this method offers intriguing opportunities to enhance performance in time series analysis and time series forecasting, among other fields.

研究动机与目标

• 推动改进的多变量时间序列函数近似与预测。
• 将可学习的路径签名与 Kolmogorov-Arnold Networks 集成，以捕捉几何路径特征。
• 开发具备 GRKAN 与可学习路径签名的 SigKAN 架构。
• 在市场成交量和收益任务上，与循环神经网络和 Transformer 基线对比评估 SigKAN。

提出的方法

• 引入可学习路径签名层，在进行签名计算之前将输入路径乘以可学习系数。
• 使用门控残差 KAN (GRKAN) 调节信息流，并通过门控提供可解释性。
• 将 SigKAN 作为对 KAN 输出的加权，通过 SoftMax 归一化的 GRKAN 签名权重向量实现。
• 使用 RMSE 损失训练，并将 R^2 作为主要评估指标，采用 Adam 优化器、早停和学习率调度。
• 在 Binance 的成交量和绝对收益预测任务上，与 TKAN、TKAT、GRU、LSTM 和 MLP 变体进行基准对比。

实验结果

研究问题

• RQ1 将 KAN 输出以可学习路径签名进行加权，是否能改善多变量时间序列的函数近似？
• RQ2 在短期和更长时间范围的预测中，SigKAN 与循环和注意力基线的对比如何？
• RQ3 SigKAN 在各任务中的稳定性和参数效率特性如何？
• RQ4 考虑到签名维度，堆叠 SigKAN 层如何影响性能和计算？

主要发现

Time	SK-1	SD-1	SK-2	SD-2
1	0.36225	0.33055	0.30807	0.31907
3	0.21961	0.21532	0.20580	0.21066
6	0.16361	0.15544	0.15351	0.15836
9	0.13997	0.12768	0.12684	0.13338
12	0.12693	0.11628	0.11826	0.11814
15	0.11861	0.11097	0.11448	0.11065

• SigKAN 在短期预测的成交量平均 R^2 上优于简单基线（TKAN、TKAT、GRU、LSTM）。
• 签名加权相较于简单的密集或 GRN 基准变体具有优势，SigKAN 常常达到或超过 SigDense 的性能。
• 与循环模型相比，SigKAN 在更长时间范围的多次运行中显示出更稳定的 R^2。
• 两层 SigKAN（SK-2）在某些设置中通常优于单层（SK-1），但收益因任务而异。
• 模型规模分析显示 SigKAN 可能因为时间维度展平而拥有更高的参数量，建议通过架构调整来减少参数。