[论文解读] Time series forecasting with Hahn Kolmogorov-Arnold networks
HaKAN 使用基于 Hahn 多项式的 KAN,具通道独立性与补丁化,以实现高准确度的多变量长期时间序列预测,同时保持轻量且可解释。
Recent Transformer- and MLP-based models have demonstrated strong performance in long-term time series forecasting, yet Transformers remain limited by their quadratic complexity and permutation-equivariant attention, while MLPs exhibit spectral bias. We propose HaKAN, a versatile model based on Kolmogorov-Arnold Networks (KANs), leveraging Hahn polynomial-based learnable activation functions and providing a lightweight and interpretable alternative for multivariate time series forecasting. Our model integrates channel independence, patching, a stack of Hahn-KAN blocks with residual connections, and a bottleneck structure comprised of two fully connected layers. The Hahn-KAN block consists of inter- and intra-patch KAN layers to effectively capture both global and local temporal patterns. Extensive experiments on various forecasting benchmarks demonstrate that our model consistently outperforms recent state-of-the-art methods, with ablation studies validating the effectiveness of its core components.
研究动机与目标
- 推动在超越 Transformer 和标准 MLP 的多变量长期预测中的高效性需求。
- 提出 HaKAN,一种基于 Hahn-KAN 的框架,缓解谱偏差并捕捉全局/局部时间模式。
- 设计一个具通道独立性、补丁化、跨/内补丁 KAN 以及瓶颈输出阶段的轻量化架构。
- 在多样的预测数据集上展示相较最近的基线的经验改进。
提出的方法
- 在 Kolmogorov-Arnold 网络上构建 HaKAN,其单变量激活由 Hahn 多项式参数化。
- 对每个通道应用可逆实例归一化(RevIN)以稳定分布。
- 将每个通道的序列分割成补丁并嵌入带位置信息的向量。
- 使用由 intra-patch 与 inter-patch 层组成的一组 R Hahn-KAN 块,以捕捉局部与全局模式。
- 将最终特征展平成向量,通过两层瓶颈预测每个通道的 horizon T,并随后进行 RevIN 反归一化。
实验结果
研究问题
- RQ1HaKAN 是否在长时序多变量预测中超越最先进的基于 Transformer 与 MLP 的模型?
- RQ2KAN 中的 Hahn 多项式参数化是否提供比固定激活更好的函数逼近与谱偏差缓解?
- RQ3补丁化与通道独立性是否在不同数据集上提升效率与预测准确性?
- RQ4模型组件(RevIN、补丁化、跨/内补丁 KAN、瓶颈)对性能的影响?
主要发现
- HaKAN 在多数据集与多种预测步长上普遍优于大多数 Baseline。
- HaKAN 在 Table 1 的 32 种情况中有 18 次获得最佳 MSE,19 次获得最佳 MAE。
- HaKAN 在 Illness 指标上实现了显著的相对误差下降(MSE 8.98%、MAE 3.96%),在 ETTh2 上为 5.28% MSE、2.07% MAE。
- 在固定回看长度 L=96 的情况下,HaKAN 在较短 horizon 上实现五个基准中的最佳平均 MSE/MAE。
- 在不同 horizon 上,HaKAN 对 PatchTST 和 Crossformer 具有竞争力或更优的性能,同时保持较高的计算效率。
更好的研究,从现在开始
从论文设计到论文写作,大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成,并经人工编辑审核。