[論文レビュー] MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing

Zhe Li, Zhongwen Rao+2 more|arXiv (Cornell University)|Feb 9, 2023

Time Series Analysis and Forecasting被引用数 38

ひとこと要約

MTS-Mixers は、マルチ変量時系列予測において時間的依存性とチャネル依存性を別々にモデル化する因子分解フレームワークを提案し、低ランクベースの時間的およびチャネル混合を用いて Transformer ベースのモデルをより効率的に上回る。

ABSTRACT

Multivariate time series forecasting has been widely used in various practical scenarios. Recently, Transformer-based models have shown significant potential in forecasting tasks due to the capture of long-range dependencies. However, recent studies in the vision and NLP fields show that the role of attention modules is not clear, which can be replaced by other token aggregation operations. This paper investigates the contributions and deficiencies of attention mechanisms on the performance of time series forecasting. Specifically, we find that (1) attention is not necessary for capturing temporal dependencies, (2) the entanglement and redundancy in the capture of temporal and channel interaction affect the forecasting performance, and (3) it is important to model the mapping between the input and the prediction sequence. To this end, we propose MTS-Mixers, which use two factorized modules to capture temporal and channel dependencies. Experimental results on several real-world datasets show that MTS-Mixers outperform existing Transformer-based models with higher efficiency.

研究の動機と目的

• 時系列予測におけるアテンション機構の有効性を評価する。
• 時間的およびチャネル依存性を別々に捉える一般的なフレームワーク（MTS-Mixers）を提案する。
• 時間系列の低ランク特性を因子分解された時間的およびチャネル混合を通じて活用する。
• 複数の実世界データセットで最先端の予測精度と効率を実証する。

提案手法

• Temporal および Channel モジュールを介して、入力 Xh ∈ R^{n×c} を予測 Xf ∈ R^{m×c} に写像する MTS-Mixers を導入する。
• 3つの実装を示す：(i) アテンションベースの MTS-Mixer、(ii) ランダム行列 MTS-Mixer、(iii) 低ランク分解を用いた因子化 MLP/Channel アプローチ。
• 冗長性を減らし効率を向上させるため、因子化された時間的およびチャネル混合を使用する。
• 時間的因子化は s 個の交互に配置された部分列にダウンサンプリングし、統合前に各部分列ごとに時間的特徴を学習する。
• チャネル因子化は、低ランク分解（例：トランケートSVD、NMF）と因子化された MLP様の変換によってチャネル間の相互作用のノイズを低減する。
• オプションの埋め込み/位置符号化経路と、学習した特徴から予測への直接的な線形写像を提供する。
• アテンションは時間的依存性の捕捉には必須でない可能性があり、入力と出力系列間の写像が決定的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 マルチ変量時系列予測における時間的依存性の捕捉にはアテンションが必要ですか？
• RQ2 因子化されたモジュールを用いて時間的およびチャネルモデリングを分離することで予測性能と効率を向上させられますか？
• RQ3 低ランク分解アプローチはマルチ変量時系列データの冗長性を効果的に低減しますか？
• RQ4 さまざまな MTS-Mixer 変種（MLP、ランダム行列、アテンション）は、公開データセット上で最先端のベースラインとどう比較されますか？

主な発見

• MTS-Mixers は六つの実世界データセットで最先端の性能を達成し、MSEおよびMAEの顕著な改善を示した。
• 因子化された時間的およびチャネル混合は、Transformerベースのモデルよりも精度と効率の向上をもたらす。
• 因子化されたMLPおよび因子化アテンションの派生は、素のアテンションや多くのベースラインを上回り、長期予測で特に大きな利得を示す。
• 時間的因子化はより多くの部分列（より大きな s）で利益を得るが、効率のバランスのためにパラメータ共有を必要とする場合がある。
• 低ランクデノイジングによるチャネル因子化（例：トランケートSVD、NMF）は、デノイジングなしと比較して誤差を大幅に削減する。
• 実行時間分析は、MTS-Mixers が複数のTransformerベースの競合よりもトレーニング/推論の効率が高いことを示す。