[論文レビュー] Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting

Kiran Madhusudhanan, Johannes Burchert+3 more|arXiv (Cornell University)|Oct 13, 2021

Image and Signal Denoising Methods被引用数 6

ひとこと要約

Yformerは、スパース自己注意機構、エンコーダーからデコーダーへのスキップ接続、および補助再構成損失を統合した、U-Netにインspiredされたトランスフォーマー・アーキテクチャを提案する。これは、単変量および多変量の遠隔時系列予測ベンチマークにおいて、ベースライン比で平均的にMSEで19.82%、MAEで18.41%の向上を達成し、最先端の性能を実現している。

ABSTRACT

Time series data is ubiquitous in research as well as in a wide variety of industrial applications. Effectively analyzing the available historical data and providing insights into the far future allows us to make effective decisions. Recent research has witnessed the superior performance of transformer-based architectures, especially in the regime of far horizon time series forecasting. However, the current state of the art sparse Transformer architectures fail to couple down- and upsampling procedures to produce outputs in a similar resolution as the input. We propose the Yformer model, based on a novel Y-shaped encoder-decoder architecture that (1) uses direct connection from the downscaled encoder layer to the corresponding upsampled decoder layer in a U-Net inspired architecture, (2) Combines the downscaling/upsampling with sparse attention to capture long-range effects, and (3) stabilizes the encoder-decoder stacks with the addition of an auxiliary reconstruction loss. Extensive experiments have been conducted with relevant baselines on four benchmark datasets, demonstrating an average improvement of 19.82, 18.41 percentage MSE and 13.62, 11.85 percentage MAE in comparison to the current state of the art for the univariate and the multivariate settings respectively.

研究の動機と目的

• 長期間予測のためのスパーストランスフォーマー・アーキテクチャにおいて、解像度を保持するメカニズムの欠如に対処する。
• U-Netのスキップ接続によるマルチスケール特徴抽出を、トランスフォーマーに基づくエンコーダー・デコーダー・フレームワークに統合する。
• 過去のターゲットの再構成損失を導入することで、訓練の安定化と一般化性能の向上を図る。
• トランスフォーマー・アーキテクチャ内でダウンスケーリングとアップスケーリングの手順を結合することで、高解像度の出力予測を可能にする。
• 単変量および多変量の時系列予測ベンチマークにおいて、遠隔予測の観点から優れた性能を示す。

提案手法

• U-NetにインspiredされたY字型のエンコーダー・デコーダー構造を提案し、ダウンスケーリングされたエンコーダー特徴を対応するアップスケーリングされたデコーダー層に直接接続する。
• 各スケールレベルにスパース自己注意機構を統合し、計算複雑性を低減しながら長距離依存関係を効率的にモデル化する。
• 空間的（時系列的）解像度をネットワーク全体で保持することができる学習可能なアップスケーリングおよびダウンスケーリング操作を適用する。
• 予測された過去のターゲットと真値を比較する補助再構成損失を導入し、モデルの一般化性能を高める正則化を実現する。
• 将来のターゲット予測と過去の再構成を組み合わせたマルチタスク目的で、モデルをエンドツーエンドで訓練する。
• さまざまな予測ホライズンにおいて、再構成損失の重み係数（α）を最適化するためにハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャにおいて、U-Net風のスキップ接続は、長期間時系列予測性能を向上させ得るか？
• RQ2 補助再構成損失を組み込むことで、モデルの一般化性能および将来のターゲット予測性能にどのような影響を与えるか？
• RQ3 スパーストランスフォーマーにダウンスケーリングとアップスケーリングを統合することで、時系列予測における解像度の忠実度はどの程度向上するか？
• RQ4 提案されたYformerアーキテクチャは、Informerなどの既存のスパーストランスフォーマー・モデルを、単変量および多変量の時系列ベンチマークで上回るか？
• RQ5 再構成損失の最適な重み（α）は、さまざまな予測ホライズンおよびデータセットタイプでどのように変化するか？

主な発見

• 単変量設定では、すべてのホライズンにおいて、ベースライン比でMSEで平均19.82%、MAEで18.41%の向上を達成した。
• 多変量設定では、ベースラインモデル比でMSEで13.62%、MAEで11.85%の向上を達成した。
• U-Netのスキップ接続を削除したYformer*では、特に長い予測ホライズンにおいて顕著な性能低下が見られた。
• 最適な再構成損失重みαは、ホライズン全体で主に0.7であり、短いホライズンではより高い値が好まれており、より強い正則化効果が得られると示唆された。
• 再構成損失は訓練を安定化させ、特に短いホライズンの予測において過学習を低減し、過去のターゲット分布への一般化を促進する。
• アブレーションスタディの結果、スキップ接続は長期間予測において最も効果的であり、マルチスケール特徴の統合が性能に不可欠であることが確認された。