[論文レビュー] Respecting Time Series Properties Makes Deep Time Series Forecasting Perfect

Li Shen, Yuning Wei+1 more|arXiv (Cornell University)|Jul 22, 2022

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、非定常性、因果関係、変数の無関係性といった内在的な時系列特性を再考することで、正規化、多次元予測、入力系列長の見直しにより、それらを尊重する新しい深層時系列予測ネットワークRTNetを提案する。RTNetは、時系列理論に基づく構造的制約を強制し、時系列埋め込みを分離することで、時間的依存性のないデータセットにおいても、低い複雑性と優れた精度で、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

How to handle time features shall be the core question of any time series forecasting model. Ironically, it is often ignored or misunderstood by deep-learning based models, even those baselines which are state-of-the-art. This behavior makes their inefficient, untenable and unstable. In this paper, we rigorously analyze three prevalent but deficient/unfounded deep time series forecasting mechanisms or methods from the view of time series properties, including normalization methods, multivariate forecasting and input sequence length. Corresponding corollaries and solutions are given on both empirical and theoretical basis. We thereby propose a novel time series forecasting network, i.e. RTNet, on the basis of aforementioned analysis. It is general enough to be combined with both supervised and self-supervised forecasting format. Thanks to the core idea of respecting time series properties, no matter in which forecasting format, RTNet shows obviously superior forecasting performances compared with dozens of other SOTA time series forecasting baselines in three real-world benchmark datasets. By and large, it even occupies less time complexity and memory usage while acquiring better forecasting accuracy. The source code is available at https://github.com/OrigamiSL/RTNet.

研究の動機と目的

• 非定常性、因果関係、変数の無関係性といった核心的な時系列特性を無視する深層時系列予測モデルにおける根本的な欠陥を特定・是正すること。
• 時系列文脈においてスケール不変性を破るため、バッチ正規化のような正規化手法の誤用を是正すること。
• 教師ありおよび自己教師あり学習の両形式において、時系列特性を尊重する汎用的な予測ネットワークを開発すること。
• 時系列特性から導かれる理論的補題を実証的に検証し、多様な実世界データセットにわたる頑健性と一般化性能を確保すること。

提案手法

• 時系列埋め込みと入力特徴量を分離することで、特に時系列埋め込みと関係のないデータセットにおいて、誤った相関を回避する、変換器ベースのアーキテクチャRTNetを提案する。
• 共有表現を用いた拡張系列での事前学習と、自己回帰的予測を用いた微調整という二段階の訓練プロセスを持つ、新しい対照的学習フレームワークを導入する。
• 各ブロックが因果的畳み込みと学習可能なコサイン類似度行列を用いて変数の関連性をモデル化する、複数のRTBlockを組み合わせたピラミッドネットワーク構造を採用する。
• 角度閾値θを用いたしきい値付きコサイン類似度行列を適用することで、弱いまたは無関係な変数間の相互作用を抑制し、頑健性と解釈可能性を向上させる。
• αによって制御される動的入力系列オーバーラップ機構を採用し、α=4がエンドツーエンド学習で最適で、α=2が対照的学習で最適であることを示す。これにより、系列の文脈と計算コストのバランスを取る。
• バッチ正規化が時系列のスケール不変性を破るため、その使用を避ける。代わりに、文脈に応じてレイヤー正規化や正規化なしを採用するハイブリッド正規化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な正規化手法（例：バッチ正規化）が時系列予測で失敗する理由は何か？理論的および実証的結果は？
• RQ2 時系列変数が時間と無関係である場合、入力系列に時間埋め込みを含めると、予測性能にどのような影響を与えるか？
• RQ3 エンドツーエンド学習と対照的学習の両方の訓練形式において、最適な入力系列長とオーバーラップ戦略（αで制御）は何か？
• RQ4 しきい値付きの学習可能なコサイン類似度行列を用いて変数の関連性をモデル化することで、多次元時系列予測はどのように向上するか？
• RQ5 入力特徴量から時間埋め込みを分離することで、多様な時系列データセットにわたる一般化性能と頑健性はどの程度向上するか？

主な発見

• RTNetは、ETTh1、ETTh2、WTH、ECLの3つの実世界ベンチマークで、数十の最先端ベースラインを上回り、時間的・メモリ的複雑性が低いにもかかわらず、最先端の精度を達成する。
• 時間埋め込みの分離は、変数が時間埋め込みと無関係なETTデータセットにおいて顕著に性能向上をもたらし、特にエンドツーエンド学習時において、埋め込み済み時間特徴量を持つモデルを上回る。
• 最適なオーバーラップ度αは、エンドツーエンド学習では4、対照的学習では2である。これは、訓練形式に依存するハイパーパramータの感受性を示している。
• コサイン類似度行列を30°でしきい値処理することで、弱い変数間相互作用が抑制され、予測性能が向上する。一方、θ ≥ 60°では性能が低下する。
• 時間埋め込みを分離したRTNetは、時間に関連するWTHデータセットにおいて、埋め込み済み時間特徴量を持つモデルと同等またはより優れた結果を達成し、本手法の頑健性を確認する。
• アブレーションスタディにより、ECLにおいてRTNetの性能が時間埋め込みに依存しないことが確認され、変数が時間と独立である場合、時間埋め込みは必須でないという理論的分析の妥当性が裏付けられる。