[論文レビュー] Revitalizing Multivariate Time Series Forecasting: Learnable Decomposition with Inter-Series Dependencies and Intra-Series Variations Modeling

Guoqi Yu, Jing Zou+4 more|arXiv (Cornell University)|Feb 20, 2024

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

この論文は、マルチ変量時系列の系列間依存性と系列内の変動を同時にモデル化する学習可能な分解モジュールとデュアルアテンションを導入するLeddamを提案します。 eight datasets で最先端の結果を達成し、他モデルへ組み込んだ際に大きな性能向上を可能にします。

ABSTRACT

Predicting multivariate time series is crucial, demanding precise modeling of intricate patterns, including inter-series dependencies and intra-series variations. Distinctive trend characteristics in each time series pose challenges, and existing methods, relying on basic moving average kernels, may struggle with the non-linear structure and complex trends in real-world data. Given that, we introduce a learnable decomposition strategy to capture dynamic trend information more reasonably. Additionally, we propose a dual attention module tailored to capture inter-series dependencies and intra-series variations simultaneously for better time series forecasting, which is implemented by channel-wise self-attention and autoregressive self-attention. To evaluate the effectiveness of our method, we conducted experiments across eight open-source datasets and compared it with the state-of-the-art methods. Through the comparison results, our Leddam (LEarnable Decomposition and Dual Attention Module) not only demonstrates significant advancements in predictive performance, but also the proposed decomposition strategy can be plugged into other methods with a large performance-boosting, from 11.87% to 48.56% MSE error degradation.

研究の動機と目的

• インタ-series の依存性と系内の変動に対処して、頑健なマルチ変量時系列予測を動機づける。
• 単純な移動平均を超える動的な傾向情報を捉える学習可能な分解を提案する。
• チャンネルごとの自己注意と自己回帰的自己注意を組み合わせたDual Attention Moduleを設計する。
• 実世界データセット8件で明確な性能向上を示し、分解成分の汎用性を示す。
• 提案する分解が他の予測モデルを大幅に向上させることを示す。

提案手法

• Gaussian分布で初期化された学習可能な1D畳み込み分解カーネルを導入し、TrendとSeasonalを分離する。
• (i) Whole Series Embeddingを介して系列間依存性をモデル化するチャンネル-wise自己注意と、(ii) Seasonalトークンを用いた自己回帰埋め込みで系列内の変動をモデル化するAuto-regressive自己注意を持つDual Attention Moduleを使用する。
• 位置符号化で入力を埋め込み、X_TrendとX_Seasonalに分解し、それを射影して最終予測を得る。Y_hat = X_S_out + X_T_out。
• Seasonalトークン上のTransformerエンコーダで系列間依存性をモデル化し、季節トークンをK/V、生のSeasonalをQとして自己回帰型Transformerで系列内変動をモデリングする。
• 学習可能な1D畳み込みカーネルが分解の従来の移動平均カーネルより優れていることを示す（LD_TL vs LD_UTL）。
• MSE/MAE指標で8データセットを評価し、8つのSOTAベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチ変量時系列の分解をどのように学習し、動的な傾向情報をよりよく暴露できるか。
• RQ2 系列間依存性と系列内の変動を同時にモデル化して予測精度を向上させるにはどうすればよいか。
• RQ3 学習可能な分解コンポーネントは他の予測モデルに組み込んだ場合に一般化するか。
• RQ4 系列間モデリングにはチャンネル-wise注意と系列内モデリングには自己回帰注意のどちらが寄与するか、特にどの程度の差があるか。
• RQ5 提案されたコンポーネントは多様な実世界データセットでどの程度性能を改善するか。

主な発見

• Leddamは大半のデータセットで8つの最先端ベースラインに対して予測性能が優れており、TrafficのみiTransformerが優位。
• デュアルアテンション設計（系列間依存性にはチャンネル-wise、系列内変動には自己回帰）は、個別に除去した場合でも5データセットで substantialなMSE低減を生み、両方組み合わせるとさらに効果が大きい。
• 学習可能な1D畳み込み分解カーネルはGaussian初期化で移動平均カーネルを一貫して上回り、学習性を高めるほど性能が向上する（LD_TL vs LD_UTL）。
• 学習可能な分解を他モデルに組み込むと、LightTS、LSTM、SCINet、Informer、Transformerなどで顕著な改善が見られ、特に一部モデルで大きな効果を示す（例：ETデータセットのLSTMでMSEが約80%改善する場合も）。
• 自己回帰型自己注意とチャンネル-wise自己注意はそれぞれ意味のある改善をもたらし、両方併用した場合により大きな改善（平均的に顕著なMSE削減）が見られる。