[논문 리뷰] TKAN: Temporal Kolmogorov-Arnold Networks

Rémi Genet, Hugo Inzirillo|arXiv (Cornell University)|2024. 05. 12.

Time Series Analysis and Forecasting인용 수 23

한 줄 요약

TKAN은 Recurring Kolmogorov-Arnold Networks와 LSTM 유사 메모리 게이트를 결합하여 다단 시계열 예측을 가능하게 하며, BTC 시장 데이터에서 GRU/LSTM에 비해 강건성과 장기 예측 성능이 우수함을 보여준다.

ABSTRACT

Recurrent Neural Networks (RNNs) have revolutionized many areas of machine learning, particularly in natural language and data sequence processing. Long Short-Term Memory (LSTM) has demonstrated its ability to capture long-term dependencies in sequential data. Inspired by the Kolmogorov-Arnold Networks (KANs) a promising alternatives to Multi-Layer Perceptrons (MLPs), we proposed a new neural networks architecture inspired by KAN and the LSTM, the Temporal Kolomogorov-Arnold Networks (TKANs). TKANs combined the strenght of both networks, it is composed of Recurring Kolmogorov-Arnold Networks (RKANs) Layers embedding memory management. This innovation enables us to perform multi-step time series forecasting with enhanced accuracy and efficiency. By addressing the limitations of traditional models in handling complex sequential patterns, the TKAN architecture offers significant potential for advancements in fields requiring more than one step ahead forecasting.

연구 동기 및 목표

• Kolmogorov-Arnold Networks (KANs)을 시간 데이터에 확장하여 다단 예측을 위한 동기 부여.
• 시계열 의존성을 관리하기 위한 메모리 및 게이팅 메커니즘을 통합한다.
• 실제 금융 시계열에서 TKAN을 GRU 및 LSTM과 비교 평가한다.

제안 방법

• RKAN 층과 LSTM 유사 게이팅 메커니즘을 통해 메모리를 내재화하는 아키텍처로 TKAN을 제안한다.
• phi_{l,j,i}가 시간 의존적이며 메모리 h_{l,i}(t)를 포함하는 메모리 강화 변환을 정의한다.
• 시간 의존성을 모델링하기 위해 5개의 B-spline 활성화를 갖는 2-layer TKAN을 사용한다.
• 조기 중지 및 plateau에서의 학습률 감소를 이용한 Adam으로 학습하고, MSE 손실 및 R^2 지표로 평가한다.
• Binance의 BTC/USDT 시간당 데이터(2020-2022)를 대상으로 GRU, LSTM 및 마지막 값 베이스라인과 비교 벤치마크를 수행한다.
• 안정성 및 일반화 가능성을 평가하기 위해 학습/검증 손실을 보고 분석한다.

실험 결과

연구 질문

• RQ1 전통적인 RNN(GRU/LSTM)과 비교하여 TKAN이 시계열 데이터의 다단 예측 성능을 향상시킬 수 있는가?
• RQ2 RKAN 메모리를 게이티드 메커니즘과 통합하면 더 안정적인 학습과 더 나은 장기 예측 정확도를 제공하는가?
• RQ3 다중 예측 지평에서 BTC 명목가치에 대해 실제 금융 시계열에서 TKAN의 성능은 어떠한가?

주요 결과

• TKAN은 GRU/LSTM이 음수로 전환되는 더 긴 기간에서도 양의 R^2를 유지하며, 예를 들어 12단계(0.105111)와 15단계(0.086077)에서 그렇다.
• TKAN은 다섯 차례 실행에서 LSTM/GRU보다 성능 변동이 작아 더 큰 학습 안정성을 시사한다.
• 1단계 예측에서는 GRU가 TKAN 및 LSTM보다 약간 더 우수하지만, TKAN은 중단기에서 장기 예측에서 더 뛰어나다.
• 모든 모델이 지평에 걸쳐 순수한 마지막 값 벤치마크보다 우수하며, 지평이 확장될수록 TKAN이 더 안정적이다.
• 5개의 B-spline 활성화를 갖는 TKAN은 GRU/LSTM보다 학습 손실과 검증 손실 간 수렴이 더 안정적이다.