[論文レビュー] Kolmogorov-Arnold Networks for Time Series: Bridging Predictive Power and Interpretability

Kunpeng Xu, Lifei Chen+1 more|arXiv (Cornell University)|Jun 4, 2024

Time Series Analysis and Forecasting被引用数 23

ひとこと要約

論文は、Kolmogorov-Arnold 定理に触発されたスプラインでパラメータ化された一変量関数を用い、予測性能と解釈性を組み合わせた Temporal and Multivariate Kolmogorov-Arnold Networks (T-KAN および MT-KAN) を提案する。高度に解釈可能な成分と競争力のある予測精度を示し、トレーニング効率のトレードオフについて論じる。

ABSTRACT

Kolmogorov-Arnold Networks (KAN) is a groundbreaking model recently proposed by the MIT team, representing a revolutionary approach with the potential to be a game-changer in the field. This innovative concept has rapidly garnered worldwide interest within the AI community. Inspired by the Kolmogorov-Arnold representation theorem, KAN utilizes spline-parametrized univariate functions in place of traditional linear weights, enabling them to dynamically learn activation patterns and significantly enhancing interpretability. In this paper, we explore the application of KAN to time series forecasting and propose two variants: T-KAN and MT-KAN. T-KAN is designed to detect concept drift within time series and can explain the nonlinear relationships between predictions and previous time steps through symbolic regression, making it highly interpretable in dynamically changing environments. MT-KAN, on the other hand, improves predictive performance by effectively uncovering and leveraging the complex relationships among variables in multivariate time series. Experiments validate the effectiveness of these approaches, demonstrating that T-KAN and MT-KAN significantly outperform traditional methods in time series forecasting tasks, not only enhancing predictive accuracy but also improving model interpretability. This research opens new avenues for adaptive forecasting models, highlighting the potential of KAN as a powerful and interpretable tool in predictive analytics.

研究の動機と目的

• Kolmogorov-Arnold ネットワーク (KAN) を用いた解釈可能で高精度な時系列予測を動機づける。
• KAN を一変量 (T-KAN) および多変量 (MT-KAN) の時系列へ拡張し、概念ドリフトの処理と変数間モデリングを導入する。
• KAN 系モデルが小規模なアーキテクチャでも競争力のある予測性能を達成できることを示す。
• 学習可能な活性化関数のシンボリック回帰による解釈性を提供する。
• 他の系列モデルとの統合や制約についての制限を議論する。

提案手法

• エッジ上の線形重みをスプラインでパラメータ化された一変量関数に置換して、KAN フレームワークに時系列予測を基づかせる。
• 2つのバリエーションを開発する：概念ドリフト検出と解釈性のための一変量予測用 T-KAN、および変数間相互作用を伴う多変量予測用 MT-KAN。
• Kolmogorov-Arnold 表現定理に従って、出力を一変量関数の合成としてモデル化する。
• T-KAN には2層のKANアーキテクチャを、 MT-KAN には時系列と横断的変数依存を捉える多層KANスタックを採用する。
• 入力はスライディングウィンドウ（履歴84ステップ、予測水準21ステップ）で学習し、効率を保つために剪定と再訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 T-KAN は一変量時系列において概念ドリフトを検知・追跡しつつ予測精度を維持できるか？
• RQ2 MT-KAN は横断変数間の相互作用を効果的に捉え、 多変量予測を改善できるか？
• RQ3 線形重みをスプラインでパラメータ化した活性化へ置換することは、性能を犠牲にせず解釈性を向上させるか？
• RQ4 KAN 系モデルは予測精度とパラメータ効率の点で伝統的な MLP/RNN/LSTM ベースラインと比較してどうか？
• RQ5 解釈性（シンボリック回帰）と予測性能の間にどんなトレードオフがあるのか（T-KAN において）？

主な発見

モデル	設定	MSE	MAE	RMSE	パラメータ数
MLP	[84,5,21]	0.0465	0.1774	0.2141	551
MLP	[84,50,21]	0.0002	0.0122	0.0157	5321
MLP	[84,200,21]	8.92e-05	0.0072	0.0088	21221
MLP	[84,5,5,21]	0.0504	0.1798	0.2230	581
MLP	[84,50,50,21]	0.0001	0.0103	0.0130	7871
RNN	[84,5,21]	0.0541	0.1737	0.2282	166
RNN	[84,50,21]	0.0001	0.0079	0.0098	3721
RNN	[84,200,21]	8.03e-05	0.0069	0.0083	44821
RNN	[84,5,5,21]	0.0497	0.1691	0.2185	226
RNN	[84,50,50,21]	0.0001	0.0079	0.0098	8821
LSTM	[84,5,21]	0.0132	0.0737	0.1105	286
LSTM	[84,50,21]	6.69e-05	0.0066	0.0078	11671
LSTM	[84,200,21]	6.52e-05	0.0064	0.0075	166621
LSTM	[84,5,5,21]	0.0136	0.0777	0.1124	526
LSTM	[84,50,50,21]	6.67e-05	0.0066	0.0076	32071
T-KAN	[84,5,21]	6.91e-05	0.0069	0.0078	193
MT-KAN	[84*5,5,21*5]	6.37e-05	0.0062	0.0075	2132

• T-KAN は一変量タスクに対して2層・5ニューロンの構成で競争的な予測性能を達成した。
• MT-KAN は変数間の関係性を活用して T-KAN より予測を改善する。
• KAN 系モデルは高いパラメータ効率を示す（例：MT-KAN は2132パラメータ、基準となるモデルより小規模）。
• 学習可能な活性化のシンボリック回帰は時系列パターンの解釈性を高める。
• 金融時系列データセットにおいて、報告されている設定下で KAN 系は複数の従来ベースラインに近いまたは上回る精度を達成する。