[논문 리뷰] Time-TK: A Multi-Offset Temporal Interaction Framework Combining Transformer and Kolmogorov-Arnold Networks for Time Series Forecasting

Fan Zhang, Shiming Fan외 1명|arXiv (Cornell University)|2026. 01. 30.

Traffic Prediction and Management Techniques인용 수 0

한 줄 요약

Time-TK는 Multi-Offset Token Embedding (MOTE)와 Multi-Offset Interactive KAN (MI-KAN)을 도입하여 다중 스케일의 시간 패턴을 포착하고, KAN과 Transformer를 결합하여 최첨단의 장기 시계열 예측을 달성합니다. 14개의 실제 데이터셋에서 강력한 성능을 보여주고, 구성 요소의 가치를 보여주는 차폐 분석(ablation)을 제공합니다.

ABSTRACT

Time series forecasting is crucial for the World Wide Web and represents a core technical challenge in ensuring the stable and efficient operation of modern web services, such as intelligent transportation and website throughput. However, we have found that existing methods typically employ a strategy of embedding each time step as an independent token. This paradigm introduces a fundamental information bottleneck when processing long sequences, the root cause of which is that independent token embedding destroys a crucial structure within the sequence - what we term as multi-offset temporal correlation. This refers to the fine-grained dependencies embedded within the sequence that span across different time steps, which is especially prevalent in regular Web data. To fundamentally address this issue, we propose a new perspective on time series embedding. We provide an upper bound on the approximate reconstruction performance of token embedding, which guides our design of a concise yet effective Multi-Offset Time Embedding method to mitigate the performance degradation caused by standard token embedding. Furthermore, our MOTE can be integrated into various existing models and serve as a universal building block. Based on this paradigm, we further design a novel forecasting architecture named Time-TK. This architecture first utilizes a Multi-Offset Interactive KAN to learn and represent specific temporal patterns among multiple offset sub-sequences. Subsequently, it employs an efficient Multi-Offset Temporal Interaction mechanism to effectively capture the complex dependencies between these sub-sequences, achieving global information integration. Extensive experiments on 14 real-world benchmark datasets, covering domains such as traffic flow and BTC/USDT throughput, demonstrate that Time-TK significantly outperforms all baseline models, achieving state-of-the-art forecasting accuracy.

연구 동기 및 목표

• 장기 span 시계열에서 독립적인 타임 스텝 토큰 임베딩의 정보 병목 현상을 동기화하고 해결하고자 한다.
• Multi-Offset Token Embedding (MOTE)을 제안하여 오프셋 하위 시퀀스 간 다중 스케일 시간 상관관계를 포착한다.
• FastKANLayer와 Gaussian RBFs를 이용하여 각 오프셋 하위 시퀀스의 표현을 학습하는 MI-KAN을 설계한다.
• MOTI(다중 오프셋 시간 상호작용) 메커니즘을 도입하여 오프셋별 표현과 글로벌 시퀀스 정보를 융합한다.
• 가벼운 아키텍처로 다양한 실제 데이터셋에서 최첨단 예측 정확도를 달성한다.

제안 방법

• 역사 데이터를 서로 다른 오프셋에서 여러 개의 하위 시퀀스로 분할하고 각각 독립적으로 임베딩하여 Multi-Offset Token Embedding (MOTE)을 도입한다.
• Gaussian RBFs를 갖춘 FastKANLayer를 통해 각 오프셋 하위 시퀀스의 표현을 학습하기 위해 MI-KAN을 사용한다.
• 각 오프셋 하위 시퀀스에 대해 다중 헤드 자기 주의(MOTI)를 적용하고 글로벌 융합 단계에서 원래 시퀀스와 융합하여 오프셋 간 정보를 통합한다.
• 원래 시퀀스와 모든 오프셋 하위 시퀀스를 함께 인코딩하는 글로벌 상호작용 메커니즘을 도입하여 교차 오프셋 정보를 회복한다.
• 글로벌 표현을 통합한 후 선형 투영으로 미래 값을 예측한다.
• 기존 TSF 파이프라인에 통합하기에 적합한 방법론적 세부사항과 구현 힌트를 제공한다.

실험 결과

연구 질문

• RQ1 다중 오프셋 시간 임베딩이 단일 스텝 임베딩보다 장기 예측에서 시계열의 미세한 의존성을 더 잘 포착하는가?
• RQ2 Gaussian RBFs를 포함한 Kolmogorov-Arnold Network 구성 요소(KAN)를 통합하면 하위 시퀀스의 비선형 시간 패턴 학습이 개선되는가?
• RQ3 교차 오프셋 시간 상호작용이 장기 예측 정확도와 일반화에 미치는 영향은 무엇인가?
• RQ4 Time-TK가 다양한 실제 데이터셋에서 강력한 Transformer 및 KAN 기반 기준선과 비교하여 어떤 성능 차이를 보이는가?
• RQ5 제안된 Time-TK 아키텍처가 가벼우면서도 최첨단 결과를 달성하는가?

주요 결과

• Time-TK는 장기 예측에 대해 14개의 실제 데이터셋에서 최첨단 혹은 경쟁력 있는 성능을 달성한다.
• 차폐 연구(ablation)에서 MOTE와 MOTI가 성능 향상에 모두 상당한 기여를 하는 것으로 나타난다.
• FastKANLayer(Gaussian RBFs)를 이용한 MI-KAN은 오프셋 하위 시퀀스를 표현하는 데 있어 대체 MI-KAN 변형들(MLP, Conv1D, RBF 단독)보다 우수하다.
• Transformer와 KAN의 결합은 우수한 결과를 낳으며, W/O Trans, W/O KAN과 같은 차폐 실험에서 성능이 저하된다.
• MOTE는 iTransformer, PatchTST, TimesNet 등의 다른 임베딩 전략과 결합될 때 성능이 향상되며 전이 가능성을 보여준다.
• 통계적 검정에서 Time-TK의 개선은 TimeKAN 대비 유의미하며(MSE p < 0.02; MAE p < 0.01) 평가 설정 전반에서 나타난다.