[論文レビュー] UnetTSF: A Better Performance Linear Complexity Time Series Prediction Model

Li chu, Xiao Bingjia+1 more|arXiv (Cornell University)|Jan 5, 2024

Neural Networks and Applications被引用数 7

ひとこと要約

UnetTSFは、U-Netアーキテクチャと特徴マップピラミッド（FPN）を用いた線形計算量の時系列予測モデルを提案する。このFPNは階層的なトレンドおよび周期的特徴抽出を可能にし、32の多次元時系列タスクにおいてDLinearおよびPatchTSTを上回る性能を発揮。MSEおよびMAEの両指標で31/32の最適結果を達成し、平均でそれぞれ10.1%および9.1%の低減を実現。計算コストは低く抑えられている。

ABSTRACT

Recently, Transformer-base models have made significant progress in the field of time series prediction which have achieved good results and become baseline models beyond Dlinear. The paper proposes an U-Net time series prediction model (UnetTSF) with linear complexity, which adopts the U-Net architecture. We are the first to use FPN technology to extract features from time series data, replacing the method of decomposing time series data into trend and seasonal terms, while designing a fusion structure suitable for time series data. After testing on 8 open-source datasets, compared to the best linear model DLiner. Out of 32 testing projects, 31 achieved the best results. The average decrease in mse is 10.1%, while the average decrease in mae is 9.1%. Compared with the complex transformer-base PatchTST, UnetTSF obtained 9 optimal results for mse and 15 optimal results for mae in 32 testing projects.

研究の動機と目的

• 時系列モデルにおける二値分解の限界を解消すること。二値分解はトレンドと周期的特徴を分離し、単純な統合手法を用いる。
• リソース制約下での実世界への適用に適した、軽量で効率的な線形計算量のモデルを設計すること。
• U-Net構造とマルチスケール統合を用いた階層的特徴学習により、予測精度を向上させること。
• 生データや二値分解を超えた、FPNに基づく時系列記述という新たなデータ表現手法を導入すること。
• モデルパラメータ数とMAC数を最小限に抑える一方で、多次元時系列ベンチマークで最先端の性能を達成すること。

提案手法

• 小さなプーリングカーネルを用いて、トレンドおよび周期的特徴をトレンド・シーズン項に分解せずに、複数レベルの特徴を抽出する時系列データ向けの特徴マップピラミッド（FPN）を提案。
• スキップ接続を介して高レベルのトレンド特徴を低レベル特徴に統合することで、階層的特徴統合を実現するU-Netベースのアーキテクチャを導入。
• 段階的な統合戦略を採用し、深層のトレンド特徴を段階的に浅層特徴に組み込むことで、局所的およびグローバルなパターンを保持。
• アテンション機構を用いないため、計算量が線形に保たれるように、全結合層およびプーリング層を活用。
• 固定された履歴窓を用いた推論において、多次元時系列データに対してMSEおよびMAE損失関数を用いてエンドツーエンド学習を実施。
• トレンドと周期的特徴を複数レベルで統合する統合モジュールを設計し、単純な加算を超えた表現学習を向上。

実験結果

リサーチクエスチョン

• RQ1 FPN風の特徴抽出を用いたU-Netベースのアーキテクチャは、DLinearなどの既存の線形計算量モデルを上回る性能を発揮できるか？
• RQ2 二値分解を階層的FPNベースの特徴抽出に置き換えることで、モデルの性能と一般化能力が向上するか？
• RQ3 軽量で全結合型のU-Netモデルは、線形計算量と低メモリ使用量を維持しながら最先端の結果を達成できるか？
• RQ4 PatchTSTのような複雑なTransformerベースのモデルと比較して、UnetTSFは精度、推論速度、パラメータ効率の面で優位性を示せるか？
• RQ5 U-Net構造におけるマルチレベル特徴統合は、長期間予測を伴う多次元時系列の予測性能をどの程度向上させるか？

主な発見

• 8つのデータセットにおける多次元時系列予測において、UnetTSFはMSEおよびMAEの両指標で32件中31件の最適結果を達成。DLinearおよびPatchTSTを顕著に上回る性能を発揮。
• DLinearと比較して、32回の実験全体で平均MSEを10.1%、平均MAEを9.1%低減。
• 周期的天気データセットでは、すべての最適結果を達成。PatchTSTと比較してMSEは1.0%、MAEは0.4%低減。DLinearと比較してMSEは12.6%、MAEは15.1%低減。
• ILIデータセットでは、予測長が60の場合、MSEを66.6%、MAEを46.7%もDLinearより低減。
• PatchTSTベンチマークにおいて、MAEで15件、MSEで9件の最適結果を達成。複雑なPatchTSTモデルをそれぞれ7回および10回のケースで上回った。
• 計算効率の観点では、UnetTSFはわずか13.56MのMACを消費。DLinearより6.6%少ない。PatchTSTと比較して12.1倍も少ない。低リソース環境に非常に適している。