[論文レビュー] DSformer: A Double Sampling Transformer for Multivariate Time Series Long-term Prediction

Chengqing Yu, Fei Wang+4 more|arXiv (Cornell University)|Aug 7, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

DSformerは、ダウンサンプリングとピecewiseサンプリングを用いてグローバルおよびローカル特徴を抽出するダブルサンプリング（DS）ブロックと、時系列および変数間相関をモデル化するための時系列変数注意（TVA）ブロックを導入した、多次元時系列の長期予測を目的とした新しいTransformerベースのモデルである。9つの実世界データセットにおいて、8つのベースラインを上回る最先端の性能を達成し、精度と効率性の両方を向上させた。

ABSTRACT

Multivariate time series long-term prediction, which aims to predict the change of data in a long time, can provide references for decision-making. Although transformer-based models have made progress in this field, they usually do not make full use of three features of multivariate time series: global information, local information, and variables correlation. To effectively mine the above three features and establish a high-precision prediction model, we propose a double sampling transformer (DSformer), which consists of the double sampling (DS) block and the temporal variable attention (TVA) block. Firstly, the DS block employs down sampling and piecewise sampling to transform the original series into feature vectors that focus on global information and local information respectively. Then, TVA block uses temporal attention and variable attention to mine these feature vectors from different dimensions and extract key information. Finally, based on a parallel structure, DSformer uses multiple TVA blocks to mine and integrate different features obtained from DS blocks respectively. The integrated feature information is passed to the generative decoder based on a multi-layer perceptron to realize multivariate time series long-term prediction. Experimental results on nine real-world datasets show that DSformer can outperform eight existing baselines.

研究の動機と目的

• 多次元時系列におけるグローバル特徴、ローカル特徴、および変数相関特徴を効果的に捉えることのできない既存のTransformerモデルの限界を克服すること。
• 時系列の3つの主要特徴を明示的にモデル化することで、長期予測の精度を向上させる、軽量かつ効果的なアーキテクチャを設計すること。
• 実世界の展開に適した計算効率を維持しながら、高い性能を達成すること。
• グローバルおよびローカル表現と変数間依存関係を統合する包括的なフレームワークを提供すること。

提案手法

• ダブルサンプリング（DS）ブロックは、間隔を拡大したダウンサンプリングによりグローバルで季節性に配慮した表現を抽出し、ピecewiseサンプリングによりローカルで高分解能のパターンを保持する。
• DSブロックは、グローバルトレンドに重点を置いた特徴ベクトルと、ローカルな詳細に重点を置いた特徴ベクトルという2つの異なる特徴ベクトルを出力し、異なる情報タイプの並列処理を可能にする。
• 時系列変数注意（TVA）ブロックは、時系列および変数ごとの注意メカニズムを別々に適用し、時間軸および変数間の依存関係を同時にモデル化する。
• TVAブロックの並列スタックにより、グローバルおよびローカル特徴ベクトルを独立して処理し、多様な表現の共同学習を可能にする。
• 統合された特徴は、自己回帰的長期予測用のマルチレイヤーパーセプトロンデコーダーに渡される。
• 複雑なアーキテクチャのトリックを回避することで、計算オーバーヘッドを低減しながらも、高い性能を維持している。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、長期間にわたる多次元時系列において、グローバルおよびローカルパターンを効果的に捉えることができるか？
• RQ2 変数相関を明示的にモデル化することで、長期予測の精度が向上するか？
• RQ3 履歴長さとサンプリング間隔のバランスがモデルのパフォーマンスに与える影響は何か？
• RQ4 軽量な設計が、効率性を犠牲にせず最先端の結果を達成できるか？
• RQ5 異なるサンプリング戦略が特徴表現の質に与える影響は何か？

主な発見

• DSformerは、9つの実世界データセットにおいて8つの既存ベースラインを上回り、多次元時系列の長期予測において最先端の性能を示した。
• 履歴長が短い場合、大きなサンプリング間隔はローカル情報の損失により性能を低下させる。最適なパフォーマンスは中程度の間隔で達成される。
• 履歴長が長い場合、サンプリング間隔を大きくすることでグローバルパターン認識が向上し、ローカル構造の保持も促進され、性能が向上する。
• O(N²)の複雑さを有しながらも、計算コストを低く抑え、他のTransformer変種よりもトレーニング効率が優れている。
• DSブロックとTVAブロックの組み合わせにより、グローバル・ローカル特徴および変数間依存関係の有効な統合が可能となり、多様なデータセットで一貫した向上が得られた。
• 実験結果から、DSformerはベースラインよりも低いRMSEおよびMAEを達成しており、データセットや予測ホライズンに応じて2％から15％の改善が見られた。