[論文レビュー] Are KANs Effective for Multivariate Time Series Forecasting?

Xiao Han, Xinfeng Zhang+3 more|arXiv (Cornell University)|Aug 21, 2024

Stock Market Forecasting Methods被引用数 7

ひとこと要約

この論文は Reversible Mixture of KAN Experts (RMoK) を導入し、単一層の KAN ベースモデルを用いた多変量時系列予測を行い、7つの実データセットでしばしば最先端の成果を達成しつつ、KAN ベースのアプローチの性能・統合・速度・解釈性を検討する。

ABSTRACT

Multivariate time series forecasting is a crucial task that predicts the future states based on historical inputs. Related techniques have been developing in parallel with the machine learning community, from early statistical learning methods to current deep learning methods. Despite their significant advancements, existing methods continue to struggle with the challenge of inadequate interpretability. The rise of the Kolmogorov-Arnold Network (KAN) provides a new perspective to solve this challenge, but current work has not yet concluded whether KAN is effective in time series forecasting tasks. In this paper, we aim to evaluate the effectiveness of KANs in time-series forecasting from the perspectives of performance, integrability, efficiency, and interpretability. To this end, we propose the Multi-layer Mixture-of-KAN network (MMK), which achieves excellent performance while retaining KAN's ability to be transformed into a combination of symbolic functions. The core module of MMK is the mixture-of-KAN layer, which uses a mixture-of-experts structure to assign variables to best-matched KAN experts. Then, we explore some useful experimental strategies to deal with the issues in the training stage. Finally, we compare MMK and various baselines on seven datasets. Extensive experimental and visualization results demonstrate that KANs are effective in multivariate time series forecasting. Code is available at: https://github.com/2448845600/EasyTSF.

研究の動機と目的

• 深層モデルの表現力と解釈性のギャップを埋めるため、時系列予測に Kolmogorov-Arnold Networks (KAN) の利用を動機づける。
• TSF のためのKAN専門家の混合を備えた、単純で解釈可能な単一層のKANベースモデル（RMoK）を提案する。
• 7つの実世界データセットで、RMoKをTransformer、CNN、Linearベースラインと実証的に比較する。
• KANの派生が時間的特徴、データセットの周期性、モデルの効率性とどのように相互作用するかを検討する。
• ゲーティング重みの可視化と例の分析を通じてRMoKの解釈性を調査する。

提案手法

• 各専門家がKANのバリアントであるMoK（mixture of KAN experts）層を定義し、ゲーティングネットワークが変数を専門家に割り当てる。
• RevIN+ 正規化を用い、予測には単一のMoK層を使用し、RevIN− で出力をデノーマライズする。
• 1つの専門家が優位にならないようロードバランシング損失を用い、(L_load-balancing = CV(loads)^2) を訓練時の MSE 損失と組み合わせる。
• 実世界の7つのTSFデータセットを対象に、KANベースモデル（RMoK系を含む）をLinear、CNN、Transformerベースラインと比較する。
• 注意モジュールの線形射影を置換する等、MoKをTransformerベースのモデルにプラグインとして統合し、性能向上を評価する。
• 時系列特徴の重みとデータの周期性との関係を分析するため、ゲーティング重みを可視化する。

Figure 1 : The computational process of Linear and KAN layers under a certain input and output dimension.

実験結果

リサーチクエスチョン

• RQ1 KANベースのモデル、特にRMoKは、多様な実世界データセットにおける多変量時系列予測で競争力のあるまたは最先端の性能を達成しますか？
• RQ2 KANの派生は、データセットサイズ（変数数）と時系列特徴（周期性・傾向）とTSFでどのように相互作用しますか？
• RQ3 KANベースのコンポーネントはTransformerベースのモデルに効果的に統合して性能を向上させることができますか？
• RQ4 ゲーティング重みを通じた解釈性と専門家の時間的特徴への対応について、RMoKは何を示しますか？

主な発見

• RMoK は7つの実世界データセットのほとんどで最良の結果を達成し、最先端ベースラインと競合するか、上回る。
• 変数数が少ないデータセットではRMoK系がしばしば卓越する一方、変数数が多いデータセットでは基本のMoK（RMoK-B）が高い性能を示し、専門家の混成アプローチが変数数の扱いに適していることを示している。
• KANベースのモデルは一般にLinearベースラインを上回り、KANの表現が時系列の周期性と傾向にうまく適合することを示唆する。
• MoKをTransformerベースのモデル（MoK付きiTransformer）に統合すると、いくつかのデータセットで性能が向上し、効果的なプラグイン能力を示す。
• RMoKはゲーティング重みを通じて変数と専門家の割り当てを可視化することで解釈性を可能にし、学習された重みがデータの周期性（日次サイクルなど）を反映していることを分析が示す。
• KAN派生は単変量予測の振る舞いに密接に近づくことができ、 multivariate forecasting を重み付きの単変量タスクの集合へと変換して説明性を高める。

Figure 2 : The structure of RMoK and MoK layer.