[論文レビュー] SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series

Hugo Inzirillo, Rémi Genet|arXiv (Cornell University)|Jun 25, 2024

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

SigKANは多変量時系列のKolmogorov-Arnold Networksの重み付けに学習可能なパスシグネチャを導入し、いくつかのベースラインに対して関数近似および予測性能を向上させる。

ABSTRACT

We propose a novel approach that enhances multivariate function approximation using learnable path signatures and Kolmogorov-Arnold networks (KANs). We enhance the learning capabilities of these networks by weighting the values obtained by KANs using learnable path signatures, which capture important geometric features of paths. This combination allows for a more comprehensive and flexible representation of sequential and temporal data. We demonstrate through studies that our SigKANs with learnable path signatures perform better than conventional methods across a range of function approximation challenges. By leveraging path signatures in neural networks, this method offers intriguing opportunities to enhance performance in time series analysis and time series forecasting, among other fields.

研究の動機と目的

• 多変量時系列の関数近似と予測を改善する動機づけ。
• 幾何学的パス特徴を捉えるために、learnable path signaturesとKolmogorov-Arnold Networksを統合する。
• GRKANと学習可能なパスシグネチャを組み込んだSigKANアーキテクチャを開発する。
• 市場ボリュームとリターンタスクに対して、SigKANをリカレントおよびトランスフォーマーベースのベースラインと比較して評価する。

提案手法

• 署名計算の前に入力パスに学習可能な係数を乗じる学習可能なパスシグネチャレイヤを導入する。
• 情報フローを調整しゲーティングによる解釈可能性を提供するために、Gated Residual KAN (GRKAN)を使用する。
• SoftMax正規化されたGRKAN署名重みベクトルを介してKAN出力の重み付けとしてSigKANを適用する。
• RMSE損失で学習し、R^2を主指標として報告する。Adamを用い、早期停止と学習率スケジューリングを活用する。
• Binanceの取引量と絶対リターン予測タスクでTKAN、TKAT、GRU、LSTM、MLP系の変種と比較評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なパスシグネチャでKAN出力を重み付けすることは、 multivariate time series の関数近似を改善しますか？
• RQ2 短期および長期の予測において、SigKANはリカレントおよびアテンションベースのベースラインとどう比較されますか？
• RQ3 タスクを横断したときのSigKANの安定性とパラメータ効率の特徴は？
• RQ4 シグネチャ次元を考慮した場合、SigKAN層を積み重ねることで性能と計算量にどう影響しますか？

主な発見

Time	SK-1	SD-1	SK-2	SD-2
1	0.36225	0.33055	0.30807	0.31907
3	0.21961	0.21532	0.20580	0.21066
6	0.16361	0.15544	0.15351	0.15836
9	0.13997	0.12768	0.12684	0.13338
12	0.12693	0.11628	0.11826	0.11814
15	0.11861	0.11097	0.11448	0.11065

• SigKANは短期にわたるボリューム予測の平均R^2において、単純なベースライン（TKAN、TKAT、GRU、LSTM）を上回る。
• シグネチャ重み付けは、プレーンな密結合やGRNベースの変種より有利であり、SigKANはしばしばSigDenseの性能に匹敵するかそれ以上となる。
• SigKANは長期の予測では、リカレントモデルと比較してR^2の結果がより安定している。
• 二層のSigKAN（SK-2）は、設定によっては一層（SK-1）より一般的に改善されるが、利得はタスクによって異なる。
• モデルサイズ分析では、時系列次元のフラット化によりパラメータ数が増える可能性があることを示しており、パラメータを減らすためのアーキテクチャ調整が示唆される。