[論文レビュー] CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables

Jiecheng Lu, Xu Han+2 more|arXiv (Cornell University)|Mar 4, 2024

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

CATS は Original Time Series から Auxiliary Time Series を構築し、外生変数として機能させることで、単一変量予測子が 2D attention-like mechanism のように時系列間の関係を捉えられるようにし、パラメータ数を抑えつつ state-of-the-art results を達成する。

ABSTRACT

For Multivariate Time Series Forecasting (MTSF), recent deep learning applications show that univariate models frequently outperform multivariate ones. To address the difficiency in multivariate models, we introduce a method to Construct Auxiliary Time Series (CATS) that functions like a 2D temporal-contextual attention mechanism, which generates Auxiliary Time Series (ATS) from Original Time Series (OTS) to effectively represent and incorporate inter-series relationships for forecasting. Key principles of ATS - continuity, sparsity, and variability - are identified and implemented through different modules. Even with a basic 2-layer MLP as core predictor, CATS achieves state-of-the-art, significantly reducing complexity and parameters compared to previous multivariate models, marking it an efficient and transferable MTSF solution.

研究の動機と目的

• MTSF の難しさを動機づけ、単変量モデルが多変量モデルよりも優れる場合があることを示す。
• Predictor アーキテクチャを変更せずに inter-series relationships を表現する Auxiliary Time Series (ATS) を提案する。
• 継続性、 sparsity、 variability の ATS の原則を特定し実装する。
• 多様な MTSF データセットに適応する複数の ATS Constructors を導入する。
• CATS での単純な予測子が強力で転移可能な性能を達成することを実証する。

提案手法

• ATS を Original Time Series (OTS) から生成される exogenous time series として定義する、複数の ATS constructors を用いる。
• ATS の予測と O S P の予測を線形射影と残差補正で結合する： X*P = XP + X̃P、ここで X̃P は ATS と XP の出力から形成される。
• ATS の連続性を保つために連続性ロスを課し、ATS を時点間で平滑化する。
• 学習されたアテンション機構を介して ATS チャンネルを動的に重み付けすることでチャンネルの sparsity を導入する。
• ストレートスルー推定器を用いて各系列のルックバック長を動的にカットオフする Temporal sparsity を適用する。
• さまざまな ATS constructors（例：複数のカーネルを持つ Conv1d、Independent Conv、Linear Projection、Identity、Embedding）を提供し、GELU 活性化を使用する。

実験結果

リサーチクエスチョン

• RQ1 OTS から構築された ATS は、コアの predictor アーキテクチャを変更せずに inter-series dependencies を捉えられるか。
• RQ2 継続性、 sparsity、 variability の原則は、系列間の関係が異なるデータセットで ATS の有効性を高めるか。
• RQ3 異なる ATS constructors は MTSF における多変量関係のモデリングにどのように寄与するか。
• RQ4 CATS は単純な predictor（例：2-layer MLP）を用いて、より複雑な多変量モデルを上回れるか。
• RQ5 CATS は弱い vs 強い inter-series dependencies や異なる forecast horizon を持つデータセットに頑健か。

主な発見

• CATS はシンプルな 2-layer MLP predictor と共に、複数の MTSF データセットと horizons において一貫していくつかのベースラインを上回る。
• ATS の連続性は低域通過フィルタとして機能し、ノイズを低減し inter-series のトレンドを強調する。
• チャンネル sparsity と Temporal sparsity は ATS の影響を適応的に調整し、データセット間での安定性と性能を向上させる。
• 複数の ATS constructors を用いることで多様性を保持し、異なる inter-series dependencies の捉え方を改善する。
• 強い inter-series 関係を持つデータセットで特に性能が向上し、 inter-series 効果が弱い場合でも CATS は有効であり続ける。