[論文レビュー] Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting

Jiaxin Gao, Wenbo Hu+1 more|arXiv (Cornell University)|May 30, 2023

Time Series Analysis and Forecasting被引用数 14

ひとこと要約

クライアントは時刻間のアテンションを跨る変数間アテンションへ置換し、線形トレンドモジュールを統合し、RevINを使用して計算量を抑えつつ長期の多変量時系列予測で最先端を達成します。実世界データセットの複数で、TransformerベースのライバルやTimesNetを上回ります。

ABSTRACT

Long-term time series forecasting (LTSF) is a crucial aspect of modern society, playing a pivotal role in facilitating long-term planning and developing early warning systems. While many Transformer-based models have recently been introduced for LTSF, a doubt have been raised regarding the effectiveness of attention modules in capturing cross-time dependencies. In this study, we design a mask-series experiment to validate this assumption and subsequently propose the "Cross-variable Linear Integrated ENhanced Transformer for Multivariate Long-Term Time Series Forecasting" (Client), an advanced model that outperforms both traditional Transformer-based models and linear models. Client employs linear modules to learn trend information and attention modules to capture cross-variable dependencies. Meanwhile, it simplifies the embedding and position encoding layers and replaces the decoder module with a projection layer. Essentially, Client incorporates non-linearity and cross-variable dependencies, which sets it apart from conventional linear models and Transformer-based models. Extensive experiments with nine real-world datasets have confirmed the SOTA performance of Client with the least computation time and memory consumption compared with the previous Transformer-based models. Our code is available at https://github.com/daxin007/Client.

研究の動機と目的

• TransformerベースのLTSFモデルにおけるクロス時刻アテンションが時刻ステップ間の依存関係を効果的に捉えるかを評価することで研究を動機付ける。
• クロス変数アテンションと線形トレンド学習を優先するモデルClientを提案し、LTSFの性能と効率を改善する。
• クロス変数アテンションがLTSFにおいてクロス時刻アテンションより重要であることを示す。
• 埋め込み/デコーダーを削除しRevINモジュールを使用することで安定性と性能が向上することを示す。
• 変数数と予測ホライズンが異なる9つの実世界データセットを横断して広範なエンピリカル証拠を提供する。

提案手法

• 変数間の依存関係を時刻間ではなく変数間で学習するクロス変数トランスフォーマーを導入する。
• 時間情報の喪失を避け、アーキテクチャを簡素化するために埋め込み層と位置エンコーディング層を削除する。
• トランスフォーマーブランチのデコーダを投影層に置換する。
• 線形トレンド情報を学習する統合線形モジュールを組み込み、チャネル独立の重みを使用する。
• トランスフォーマーと線形予測を学習可能な重みで融合し、最終予測を得る。
• 分布シフトに対処し予測の安定性を高めるために可逆的インスタンス正規化（RevIN）を適用する。

実験結果

リサーチクエスチョン

• RQ1 クロス変数アテンションは多変量長期時系列予測においてクロス時刻アテンションを上回るか？
• RQ2 クロス変数トランスフォーマーに線形トレンドモジュールを統合すると、 Transformerのみや線形モデルより精度と効率が向上するか？
• RQ3 埋め込み層、位置エンコーディング、デコーダーといったアーキテクチャ選択がLTSF性能へ与える影響は？
• RQ4 RevINは分布シフト下でのモデル安定性と予測精度にどのように影響するか？
• RQ5 提案された利点は、変数数と予測ホライズンが異なる多様な実世界データセットで成り立つか？

主な発見

• ClientはTransformerベースのモデルおよびTimesNetと比較して9つの実世界データセットで最先端の性能を達成。
• 多くの変数を持つデータセット（例: Electricity, Traffic）でクロス変数依存が効果的であるためMSEが顕著に改善される。
• モデルはデータセット全体で最良またはほぼ最良のMAEを維持し、ベースラインよりも学習時間とメモリ使用量が低い。
• Mask-series実験は従来のトランスフォーマーの時系列情報捕捉にはクロス時変アテンションが有効であり、クロス変数アテンションがLTSFにはより影響力があることを示す。
• アブレーションは線形モジュールとRevINが性能と安定性に顕著に寄与することを示し、それらを削除すると結果が低下すること、埋め込み層とデコーダーは性能を低下させ得ることを示す。
• 見返しウィンドウサイズを増やすことはClientにとってTimesNetや通常のトランスフォーマーより有利で、長期依存関係の学習が向上することを示す。