[論文レビュー] TKAN: Temporal Kolmogorov-Arnold Networks

Rémi Genet, Hugo Inzirillo|arXiv (Cornell University)|May 12, 2024

Time Series Analysis and Forecasting被引用数 23

ひとこと要約

TKAN は Recurring Kolmogorov-Arnold Networks を LSTM に似たメモリゲートと組み合わせ、マルチステップの時系列予測を可能にする。GRU/LSTM より BTC 市場データでロバスト性と長期予測性能が向上する。

ABSTRACT

Recurrent Neural Networks (RNNs) have revolutionized many areas of machine learning, particularly in natural language and data sequence processing. Long Short-Term Memory (LSTM) has demonstrated its ability to capture long-term dependencies in sequential data. Inspired by the Kolmogorov-Arnold Networks (KANs) a promising alternatives to Multi-Layer Perceptrons (MLPs), we proposed a new neural networks architecture inspired by KAN and the LSTM, the Temporal Kolomogorov-Arnold Networks (TKANs). TKANs combined the strenght of both networks, it is composed of Recurring Kolmogorov-Arnold Networks (RKANs) Layers embedding memory management. This innovation enables us to perform multi-step time series forecasting with enhanced accuracy and efficiency. By addressing the limitations of traditional models in handling complex sequential patterns, the TKAN architecture offers significant potential for advancements in fields requiring more than one step ahead forecasting.

研究の動機と目的

• Kolmogorov-Arnold Networks (KANs) を時系列データへ拡張し、マルチステップ予測のための動機づけと拡張を行う。
• 記憶とゲーティング機構を統合し、時間的依存性を管理する。
• 実世界の金融時系列データに対して TKAN を GRU および LSTM と比較評価する。

提案手法

• TKAN を、RKAN 層と LSTM に似たゲーティング機構を通じて記憶を埋め込むアーキテクチャとして提案する。
• phi_{l,j,i} が時変であり、記憶 h_{l,i}(t) を組み込む記憶強化変換を定義する。
• 時間的依存性をモデル化するために 5 個の B-スプライン活性化を用いた 2 層 TKAN を使用する。
• Adam を用いた早期停止と plateau での学習率減衰を適用して訓練し、損失関数として MSE と R^2 指標で評価する。
• Binance の BTC/USDT の hourly データ（2020-2022）を用いて GRU、LSTM、および last-value ベースラインと比較する。
• 訓練/検証損失を報告・分析し、安定性と一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 TKAN は伝統的な RNN（GRU/LSTM）と比較して時系列データの多ステップ予測を改善できるか。
• RQ2 RKAN の記憶とゲーティング機構の統合は、より安定した訓練と長期的な精度をもたらすか。
• RQ3 TKAN は現金融時系列、特に BTC の名目値に対して複数の予測 horizons でどのように性能を示すか。

主な発見

• TKAN は GRU/LSTM が正の相関を失う長期の horizon（例: 12step で 0.105111、15step で 0.086077）でも R^2 を正に維持する。
• TKAN は LSTM/GRU より訓練時の分散が小さく、訓練の安定性が高いことを示す。
• 1-step 先では GRU がわずかに TKAN および LSTM を上回るが、中間〜長期の horizon で TKAN が優れる。
• すべてのモデルが horizon を越えて naive last-value ベンチマークを上回る。TKAN は horizon が長くなるにつれてより頑健である。
• 5 個の B-スプライン活性化を用いる TKAN は、訓練損失と検証損失の収束が GRU/LSTM より安定的であることを示す。