[論文レビュー] Time series forecasting with Hahn Kolmogorov-Arnold networks
HaKANはHahn多項式ベースのKANを用い、チャネル独立性とパッチ処理で軽量かつ解釈可能なまま、正確な多変量長期時系列予測を実現します。
Recent Transformer- and MLP-based models have demonstrated strong performance in long-term time series forecasting, yet Transformers remain limited by their quadratic complexity and permutation-equivariant attention, while MLPs exhibit spectral bias. We propose HaKAN, a versatile model based on Kolmogorov-Arnold Networks (KANs), leveraging Hahn polynomial-based learnable activation functions and providing a lightweight and interpretable alternative for multivariate time series forecasting. Our model integrates channel independence, patching, a stack of Hahn-KAN blocks with residual connections, and a bottleneck structure comprised of two fully connected layers. The Hahn-KAN block consists of inter- and intra-patch KAN layers to effectively capture both global and local temporal patterns. Extensive experiments on various forecasting benchmarks demonstrate that our model consistently outperforms recent state-of-the-art methods, with ablation studies validating the effectiveness of its core components.
研究の動機と目的
- Transformersと標準MLPを超える効率的な多変量長期予測の必要性を動機づける。
- スペクトルバイアスを緩和し、グローバル/ローカルな時系列パターンを捉えるHahn-KANベースのフレームワークHaKANを提案する。
- チャネル独立性、パッチ処理、パッチ間/パッチ内KAN、およびボトルネック出力段を備えた軽量アーキテクチャを設計する。
- 最近のベースラインを diverse なデータセットで empirical に改良することを示す。
提案手法
- Hahn多項式でパラメータ化されたユニバリアント活性化関数を持つKolmogorov-Arnold Networks上にHaKANを構築する。
- チャネルごとにRevIN(可逆インスタンス正規化)を適用して分布を安定化させる。
- 各チャネルの系列をパッチに分割し、パッチに位置情報を埋め込む。
- 局所パターンと全体パターンを捉えるために、 intra-patch および inter-patch 層を備えたR Hahn-KANブロックのスタックを用いる。
- 最終特徴を平坦化し、チャネルごとにホライズンTを予測する二層のボトルネックを通した後、RevINのデノーマライズを適用する。
実験結果
リサーチクエスチョン
- RQ1HaKANは長期の多変量時系列予測において、最先端のTransformer-およびMLPベースのモデルを上回れるか。
- RQ2KANにおけるHahn多項式パラメータ化は、固定活性化よりも関数近似とスペクトルバイアス緩和に有利か。
- RQ3パッチ処理とチャネル独立性は、多様なデータセットで効率と予測精度を向上させるか。
- RQ4RevIN、パッチ処理、 inter-/intra-patch KAN、ボトルネックといったモデル構成要素が性能に及ぼす影響は。
主な発見
- HaKANは複数データセット・複数ホライズンで一貫して多くのベースラインを上回る。
- 表1では18/32ケースで最良のMSE、19/32ケースで最良のMAEを達成。
- Illnessで相対誤差が顕著に減少(MSE 8.98%、MAE 3.96%)、ETTh2でも減少(MSE 5.28%、MAE 2.07%)。
- 固定のルックバックL=96を用いると、比較的短いホライズンで5つのベンチマークの平均MSE/MAEで最良を達成。
- さまざまなホライズンでPatchTSTおよびCrossformerに対して競争力ある、または優れた性能を示しつつ計算効率も高い。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。