[論文レビュー] Time-TK: A Multi-Offset Temporal Interaction Framework Combining Transformer and Kolmogorov-Arnold Networks for Time Series Forecasting

Fan Zhang, Shiming Fan+1 more|arXiv (Cornell University)|Jan 30, 2026

Traffic Prediction and Management Techniques被引用数 0

ひとこと要約

Time-TK は Multi-Offset Token Embedding (MOTE) と Multi-Offset Interactive KAN (MI-KAN) を導入し、多スケールな時系列パターンを捉え、KAN と Transformer を組み合わせて長期時系列予測で最先端を実現します。14の実世界データセットで高い性能を示し、成分の価値を示すアブレーションを提供します。

ABSTRACT

Time series forecasting is crucial for the World Wide Web and represents a core technical challenge in ensuring the stable and efficient operation of modern web services, such as intelligent transportation and website throughput. However, we have found that existing methods typically employ a strategy of embedding each time step as an independent token. This paradigm introduces a fundamental information bottleneck when processing long sequences, the root cause of which is that independent token embedding destroys a crucial structure within the sequence - what we term as multi-offset temporal correlation. This refers to the fine-grained dependencies embedded within the sequence that span across different time steps, which is especially prevalent in regular Web data. To fundamentally address this issue, we propose a new perspective on time series embedding. We provide an upper bound on the approximate reconstruction performance of token embedding, which guides our design of a concise yet effective Multi-Offset Time Embedding method to mitigate the performance degradation caused by standard token embedding. Furthermore, our MOTE can be integrated into various existing models and serve as a universal building block. Based on this paradigm, we further design a novel forecasting architecture named Time-TK. This architecture first utilizes a Multi-Offset Interactive KAN to learn and represent specific temporal patterns among multiple offset sub-sequences. Subsequently, it employs an efficient Multi-Offset Temporal Interaction mechanism to effectively capture the complex dependencies between these sub-sequences, achieving global information integration. Extensive experiments on 14 real-world benchmark datasets, covering domains such as traffic flow and BTC/USDT throughput, demonstrate that Time-TK significantly outperforms all baseline models, achieving state-of-the-art forecasting accuracy.

研究の動機と目的

• 長期間のウェブ時系列における独立した時刻ステップ埋め込みの情報ボトルネックを動機づけ、解決する。
• オフセットサブ系列を跨ぐ多スケールの時系列相関を捉える Multi-Offset Token Embedding (MOTE) を提案する。
• Gaussian RBF を用いた FastKANLayer で各オフセットサブ系列の表現を学習し、Cross-offset の相互作用を可能にする MI-KAN を設計する。
• Multi-Offset Temporal Interaction (MOTI) 機構を導入し、オフセット固有の表現とグローバルなシーケンス情報を融合する。
• 軽量なアーキテクチャで diverse な実世界データセットにおいて最先端の予測精度を示す。

提案手法

• 履歴を異なるオフセットで複数のサブ系列に分割し、それぞれを独立に埋め込むことで Multi-Offset Token Embedding (MOTE) を導入する。
• Gaussian RBF を用いた FastKANLayer によって各オフセットサブ系列の表現を学習するために Multi-Offset Interactive KAN (MI-KAN) を用いる。
• 各オフセットサブ系列に対して MOTI を用いたマルチヘッド自己注意を適用し、グローバルな統合ステップを通じて元の系列と融合する。
• オリジナルの系列と全オフセットサブ系列を共同でエンコードするグローバルな相互作用機構を組み込み、クロスオフセット情報を回復する。
• グローバル表現を統合した後、線形投影によって未来値を予測する。
• 既存の TSF パイプラインへ組み込み可能な方法論的詳細と実装ヒントを提供する。

実験結果

リサーチクエスチョン

• RQ1 多 Offset 時間埋め込みは、長期予測において単一ステップ埋め込みより時刻依存性をより細かく捉えられるのか。
• RQ2 Kolmogorov-Arnold Network コンポーネント（Gaussian RBF を含む KAN）を統合することで、サブ系列の非線形時系列パターンの学習は改善されるのか。
• RQ3 クロスオフセットの時系列相互作用は長期予測の精度と一般化にどのような影響を与えるのか。
• RQ4 Time-TK は多様な実世界データセットに対して、強力な Transformer- および KAN ベースのベースラインと比較してどうか。
• RQ5 提案する Time-TK アーキテクチャは軽量でありつつ最先端の結果を達成するのか。

主な発見

• Time-TK は長期予測において 14 の実世界データセットで最先端または競争力のある性能を達成。
• アブレーション研究により、MOTE と MOTI の両方が性能向上に有意に寄与することを示す。
• Gaussian RBF を用いる FastKANLayer を備えた MI-KAN は、オフセットサブ系列を表現する際に他の MI-KAN バリアント（MLP、Conv1D、RBF のみ）よりも優れている。
• Transformer と KAN の組み合わせは優れた結果を生み、W/O Trans、W/O KAN のアブレーションは性能低下を示す。
• MOTE は他の埋め込み戦略（例：iTransformer、PatchTST、TimesNet）と組み合わせた場合にも性能を向上させ、移植性を示す。
• 統計検定は Time-TK の TimeKAN に対する改善が有意であることを示し（MSE で p < 0.02、MAE で p < 0.01、評価設定全体で）。