[论文解读] Time-TK: A Multi-Offset Temporal Interaction Framework Combining Transformer and Kolmogorov-Arnold Networks for Time Series Forecasting

Fan Zhang, Shiming Fan+1 more|arXiv (Cornell University)|Jan 30, 2026

Traffic Prediction and Management Techniques被引用 0

一句话总结

Time-TK 引入多偏置令牌嵌入（MOTE）和多偏置交互 KAN（MI-KAN）以捕捉多尺度时间模式，将 KAN 与 Transformer 结合用于前沿的长期时间序列预测。它在 14 个真实世界数据集上展示了强大性能，并提供消融研究显示其组件的价值。

ABSTRACT

Time series forecasting is crucial for the World Wide Web and represents a core technical challenge in ensuring the stable and efficient operation of modern web services, such as intelligent transportation and website throughput. However, we have found that existing methods typically employ a strategy of embedding each time step as an independent token. This paradigm introduces a fundamental information bottleneck when processing long sequences, the root cause of which is that independent token embedding destroys a crucial structure within the sequence - what we term as multi-offset temporal correlation. This refers to the fine-grained dependencies embedded within the sequence that span across different time steps, which is especially prevalent in regular Web data. To fundamentally address this issue, we propose a new perspective on time series embedding. We provide an upper bound on the approximate reconstruction performance of token embedding, which guides our design of a concise yet effective Multi-Offset Time Embedding method to mitigate the performance degradation caused by standard token embedding. Furthermore, our MOTE can be integrated into various existing models and serve as a universal building block. Based on this paradigm, we further design a novel forecasting architecture named Time-TK. This architecture first utilizes a Multi-Offset Interactive KAN to learn and represent specific temporal patterns among multiple offset sub-sequences. Subsequently, it employs an efficient Multi-Offset Temporal Interaction mechanism to effectively capture the complex dependencies between these sub-sequences, achieving global information integration. Extensive experiments on 14 real-world benchmark datasets, covering domains such as traffic flow and BTC/USDT throughput, demonstrate that Time-TK significantly outperforms all baseline models, achieving state-of-the-art forecasting accuracy.

研究动机与目标

• 在长跨度网络时间序列中激发并解决独立时间步令牌嵌入的信息瓶颈。
• 提出多偏置令牌嵌入（MOTE）以捕捉跨偏移子序列的多尺度时间相关性。
• 设计 MI-KAN，通过具有高斯 RBF 的 FastKANLayer 学习每个偏置子序列的表示，并实现跨偏置交互。
• 引入多偏置时序交互（MOTI）机制，将偏置特定表示与全局序列信息融合。
• 在多样化真实数据集上展示最先进的预测准确性，同时采用轻量化结构。

提出的方法

• 通过将历史分割成在不同偏移量的多个子序列并对它们独立进行嵌入，来引入多偏置令牌嵌入（MOTE）。
• 使用多偏置交互 KAN（MI-KAN）通过带高斯 RBF 的 FastKANLayer 学习每个偏置子序列的表示。
• 对每个偏置子序列应用多头自注意力的 MOTI，并通过全局融合步骤将其与原始序列融合。
• 引入全局交互机制，联合编码原始序列与所有偏移子序列，以恢复跨偏移信息。
• 在整合全局表示后通过线性投影预测未来值。
• 提供适合整合到现有时间序列预测管线中的方法论细节和实现提示。

实验结果

研究问题

• RQ1 多偏置时序嵌入是否比单步嵌入更能捕捉长期预测中的细粒度时间依赖？
• RQ2 将 Kolmogorov-Arnold Network 组件（KAN 与高斯 RBF）整合是否提升对子序列的非线性时间模式学习？
• RQ3 跨偏移时序交互对长期预测精度和泛化有何影响？
• RQ4 Time-TK 相对强大的 Transformer 和 KAN 为基础的基线在多样真实数据集上的表现如何？
• RQ5 所 proposed Time-TK 架构在保持轻量级的同时是否达到最先进结果？

主要发现

• Time-TK 在 14 个真实世界数据集的长期预测中达到前沿或具有竞争力的性能。
• 消融研究表明 MOTE 与 MOTI 的贡献对性能提升显著。
• 使用 FastKANLayer（高斯 RBF）的 MI-KAN 在表示偏置子序列方面优于替代变体（MLP、Conv1D、仅 RBF）。
• 将 Transformer 与 KAN 结合可获得更优的结果，消融（去除 Trans、去除 KAN）会降低性能。
• 将 MOTE 与其他嵌入策略（如 iTransformer、PatchTST、TimesNet）结合时，表现得到提升，显示良好的可迁移性。
• 统计检验表明 Time-TK 相对于 TimeKAN 的改进在评估设置中显著（MSE p < 0.02；MAE p < 0.01）。