[論文レビュー] A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis

Shuhan Zhong, Sizhe Song+4 more|arXiv (Cornell University)|Oct 18, 2023

Time Series Analysis and ForecastingComputer Science被引用数 3

ひとこと要約

本稿では、時間系列解析のためのマルチスケール分解型MLP-Mixer、MSD-Mixerを提案する。MSD-Mixerは、マルチスケール時間的パッチングを用いて入力系列を明示的に異なる時間的成分に分解し、層間で表現を学習する。分解の完全性を保証するための新しいリーマン損失を採用することで、5つのタスクにおいて最先端の性能を達成し、長期予測ではMSEで最大9.8%、欠損値補完ではMSEで最大46.1%の向上を達成した。

ABSTRACT

Time series data, including univariate and multivariate ones, are characterized by unique composition and complex multi-scale temporal variations. They often require special consideration of decomposition and multi-scale modeling to analyze. Existing deep learning methods on this best fit to univariate time series only, and have not sufficiently considered sub-series modeling and decomposition completeness. To address these challenges, we propose MSD-Mixer, a Multi-Scale Decomposition MLP-Mixer, which learns to explicitly decompose and represent the input time series in its different layers. To handle the multi-scale temporal patterns and multivariate dependencies, we propose a novel temporal patching approach to model the time series as multi-scale patches, and employ MLPs to capture intra- and inter-patch variations and channel-wise correlations. In addition, we propose a novel loss function to constrain both the mean and the autocorrelation of the decomposition residual for better decomposition completeness. Through extensive experiments on various real-world datasets for five common time series analysis tasks, we demonstrate that MSD-Mixer consistently and significantly outperforms other state-of-the-art algorithms with better efficiency.

研究の動機と目的

• 時間系列データに内在する複雑でマルチスケールの時間的パターンを適切に扱えない既存のディーブラーニングモデルの限界を克服すること。
• 複数の時間スケールにわたるサブ系列特徴およびチャネル間依存関係を明示的にモデル化することで、分解の完全性を向上させること。
• タスク固有のアーキテクチャ変更なしに、多様な時間系列解析タスクで優れた性能を発揮する汎用バックボーンを構築すること。
• 異なる時間的パターンに対応する分離可能な成分を学習することで、モデルの解釈性を向上させること。

提案手法

• 異なるネットワーク層で異なるサイズの重複のないパッチに分割するマルチスケール時間的パッチング戦略を導入し、マルチスケールのサブ系列パターンを捉える。
• 多層パーセプトロン（MLP）を用いて、パッチ内変動、パッチ間依存関係、および時間的・チャネル次元における相関をモデル化する。
• 分解の残差の大きさと自己相関を制約する新しいリーマン損失を設計し、意味のある時間的パターンの完全な抽出を保証する。
• 訓練中にメインタスク損失と併せてリーマン損失を用いることで、分解の完全性と下流タスクの性能を向上させる。
• 予測、欠損値補完、異常検知、分類の複数のタスクに同一アーキテクチャを適用し、アーキテクチャの変更なしに適用可能であることを示し、汎用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルと比較して、明示的なマルチスケール分解が多様な時間系列解析タスクの性能向上に寄与するか？
• RQ2 マルチスケール時間的パッチングは、サブ系列レベルの特徴およびマルチタイムスケールパターンのモデリングをどのように向上させるか？
• RQ3 リーマン損失による分解の完全性の制約は、モデル性能および解釈性をどの程度向上させるか？
• RQ4 同一の統合アーキテクチャが、予測、欠損値補完、異常検知、分類の各タスクにおいて有効に機能する汎用バックボーンとして機能できるか？

主な発見

• 長期予測において、ベンチマークデータセット上、最先端手法と比較してMSEで最大9.8%の向上を達成した。
• 短期予測において、既存の手法と比較してOWAスコアを最大5.6%低減した。
• 欠損値補完タスクにおいて、MSEで46.1%の向上を達成し、欠損データに対する強いロバストネスを示した。
• 異常検知タスクにおいて、F1スコアを最大33.1%向上させ、優れた検知能力を示した。
• 分類タスクにおいて、最先端モデルと比較して最大6.5%高い正答率を達成し、優れた一般化性能を示した。
• アブレーション実験では、マルチスケールパッチングまたはリーマン損失を除去すると性能が著しく低下し、各モジュールの有効性が裏付けられた。