[论文解读] Are KANs Effective for Multivariate Time Series Forecasting?

Xiao Han, Xinfeng Zhang+3 more|arXiv (Cornell University)|Aug 21, 2024

Stock Market Forecasting Methods被引用 7

一句话总结

本文介绍了可逆混合专家网络（RMoK），一种基于单层 KAN 的多变量时间序列预测模型，并展示在七个真实世界数据集上往往达到最先进的结果，同时考察基于 KAN 的方法在性能、整合、速度和可解释性方面的表现。

ABSTRACT

Multivariate time series forecasting is a crucial task that predicts the future states based on historical inputs. Related techniques have been developing in parallel with the machine learning community, from early statistical learning methods to current deep learning methods. Despite their significant advancements, existing methods continue to struggle with the challenge of inadequate interpretability. The rise of the Kolmogorov-Arnold Network (KAN) provides a new perspective to solve this challenge, but current work has not yet concluded whether KAN is effective in time series forecasting tasks. In this paper, we aim to evaluate the effectiveness of KANs in time-series forecasting from the perspectives of performance, integrability, efficiency, and interpretability. To this end, we propose the Multi-layer Mixture-of-KAN network (MMK), which achieves excellent performance while retaining KAN's ability to be transformed into a combination of symbolic functions. The core module of MMK is the mixture-of-KAN layer, which uses a mixture-of-experts structure to assign variables to best-matched KAN experts. Then, we explore some useful experimental strategies to deal with the issues in the training stage. Finally, we compare MMK and various baselines on seven datasets. Extensive experimental and visualization results demonstrate that KANs are effective in multivariate time series forecasting. Code is available at: https://github.com/2448845600/EasyTSF.

研究动机与目标

• 促使在时间序列预测中使用 Kolmogorov-Arnold Network（KAN），以解决深度模型在表示能力与可解释性方面的不足。
• 提出一个简单、可解释的单层 KAN 基模型（RMoK），通过混合 KAN 专家进行时间序列预测。
• 在七个真实世界数据集上对 RMoK 与 Transformer、CNN 和线性基线进行实证比较。
• 研究 KAN 变体如何与时间特征、数据集周期性以及模型效率相互作用。
• 通过门控权重可视化和示例分析，探讨 RMoK 的可解释性。

提出的方法

• 定义 MoK（KAN 专家混合）层，每个专家为一个 KAN 变体，门控网络把变量分配给专家。
• 使用 RevIN+ 归一化、单个 MoK 层进行预测，以及 RevIN− 将输出去归一化。
• 采用负载均衡损失以防止单个专家主导（L_load-balancing = CV(loads)^2），并与均方误差损失共同训练。
• 将基于 KAN 的模型（包括 RMoK 变体）与线性、CNN 和 Transformer 基线在七个真实世界的时间序列预测数据集上进行比较。
• 将 MoK 集成到基于 Transformer 的模型中作为插件，以评估性能提升（例如在注意力模块中替换线性投影）。
• 可视化门控权重以分析时间特征权重与数据周期性之间的关系。

Figure 1 : The computational process of Linear and KAN layers under a certain input and output dimension.

实验结果

研究问题

• RQ1 KAN 基于模型，特别是 RMoK，是否在多变量时间序列预测中取得具有竞争力的或最先进的性能？
• RQ2 KAN 变体如何与数据集规模（变量数量）以及时间特征（周期性、趋势）在时间序列预测中的相互作用？
• RQ3 是否可以将基于 KAN 的组件有效集成到基于 Transformer 的模型中以提升性能？
• RQ4 RMoK 在门控权重与专⻓与时间特征对齐方面对可解释性有何启示？

主要发现

• RMoK 在七个真实世界数据集的大多数情形下取得最佳结果，并且与最先进的基线相比具有竞争力甚至优于它们。
• 在变量较少的数据集上，RMoK 变体通常表现出色，而在变量较多的数据集上，基础 MoK（RMoK-B）表现强劲，表明混合专家方法能较好地处理变量数量。
• 基于 KAN 的模型通常优于线性基线，提示 KAN 的表示与时间序列的周期性和趋势良好对齐。
• 将 MoK 集成到基于 Transformer 的模型（iTransformer + MoK）在若干数据集上实现性能提升，显示出优秀的即插即用能力。
• RMoK 通过门控权重呈现变量到专家的分配来实现可解释性，分析表明学习到的权重反映数据周期性（如日周期）。
• KAN 变体可以较为接近单变量预测行为，并将多变量预测转化为一组加权的单变量任务，促进可解释性。

Figure 2 : The structure of RMoK and MoK layer.