[論文レビュー] Learning Deep Time-index Models for Time Series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Jul 13, 2022

Time Series Analysis and Forecasting被引用数 14

ひとこと要約

この論文では、学習を内側ループと外側ループに分割することで、学習時のタイムステップを超えて一般化できるようにする、メタ最適化フレームワークであるDeepTimeを提案する。implicit neural representations（INRs）と新規の連結フォーリエ特徴量モジュールを活用することで、高い効率性を実現し、vanillaな深層時系列インデックスモデルの外挿失敗を克服し、最先端の性能を達成する。

ABSTRACT

Deep learning has been actively applied to time series forecasting, leading to a deluge of new methods, belonging to the class of historical-value models. Yet, despite the attractive properties of time-index models, such as being able to model the continuous nature of underlying time series dynamics, little attention has been given to them. Indeed, while naive deep time-index models are far more expressive than the manually predefined function representations of classical time-index models, they are inadequate for forecasting, being unable to generalize to unseen time steps due to the lack of inductive bias. In this paper, we propose DeepTime, a meta-optimization framework to learn deep time-index models which overcome these limitations, yielding an efficient and accurate forecasting model. Extensive experiments on real world datasets in the long sequence time-series forecasting setting demonstrate that our approach achieves competitive results with state-of-the-art methods, and is highly efficient. Code is available at https://github.com/salesforce/DeepTime.

研究の動機と目的

• vanillaな深層時系列インデックスモデルに一般化の欠如があること、学習時のタイムステップに過剰適合し、未観測の予測範囲に外挿できないことに対処する。
• 時系列予測における信頼できる外挿に必要な誘導的バイアスを備えた、深層ニューラルネットワークの表現力と組み合わせる。
• メタラーニングにおける標準的な二段階最適化の不安定性や高コストを回避する、計算的に効率的なフレームワークを開発する。
• 線形トレンドや周期関数といった手動で定義されたコンponentsに依存せずに、柔軟でデータ駆動の関数形をエンドツーエンドで学習可能にする。
• 連続的で滑らかな時系列ダイナミクスの表現を学習することで、長期間予測における予測性能を向上させる。

提案手法

• 学習を内側ループ（最近のタイムステップにおける標準的な教師あり学習）と外側ループ（外挿のための誘導的バイアスを学習するメタ最適化）に分割する。
• 外側ループでは、計算コストを低減し、訓練の安定性を向上させるために、閉形式のリッジ回帰器を用いる。
• 時系列ダイナミクスの連続的モデリングを可能にするために、implicit neural representations（INRs）を時系列インデックス関数のパrameterizationに用いる。
• 広範なハイパーパramータチューニングを必要とせず、時系列の高周波数パターンを効率的に捉えるために、新規の連結フォーリエ特徴量モジュールを導入する。
• 複数のラックバックウィンドウにおけるテスト損失を最小化するメタ最適化目的関数を用いてモデルを訓練し、未観測のタイムステップに対して頑健性を高める。
• 基本パラメータをINRの最終層に限定することで、訓練の安定化とメタラーニングにおける記憶化の防止に役立つ有用な誘導的事前知識を提供する。

実験結果

リサーチクエスチョン

• RQ1 誘導的バイアスが欠如しているにもかかわらず、深層時系列インデックスモデルは未観測のタイムステップに一般化可能だろうか？
• RQ2 不安定性や高コストを伴わず、時系列予測に効率的にメタ最適化を適用し、強力な誘導的バイアスを学習できるだろうか？
• RQ3 手動で定義された関数を用いた古典的な時系列インデックスモデルと比較して、データ駆動型のニューラルネットワークベースの時系列インデックスモデルは、長期間予測において優れた性能を示すだろうか？
• RQ4 タスクの排他的でない性質と記憶化の影響により、datetime特徴量はメタラーニングされた時系列インデックスモデルの性能をどの程度劣化させるだろうか？
• RQ5 implicit neural representationsとフォーリエ特徴量を組み合わせた単純なモデルアーキテクチャは、複雑な最先端モデルと比較して競争力のある性能を達成できるだろうか？

主な発見

• DeepTimeは、実世界の長期間時系列データセットにおいて、シンプルなアーキテクチャであるにもかかわらず、最先端の手法を上回るか同等の予測性能を達成する。
• メタ最適化フレームワークは不可欠である：これを除去すると、datetime特徴量が存在しても一般化性能が著しく低下し、実際にはメタラーニングにおける記憶化の影響で性能が悪化する。
• 外側ループで閉形式リッジ回帰器を用いることで、安定的かつ効率的な訓練が可能となり、その複雑さにもかかわらず、完全なMAMLを上回る性能を発揮する。
• 連結フォーリエ特徴量モジュールは、標準的なランダムフォーリエ特徴量の広範なハイパーパramータスイープと同等またはそれ以上の性能を示し、高周波数パターンの学習を向上させる。
• DeepTimeは実行時およびメモリ使用量の両面で非常に効率的であり、推論速度とメモリ消費量において、効率的なTransformerベースのモデル即ちを上回る。
• モデルは長期間予測の一般化に強く、vanillaな深層時系列インデックスモデルが失敗する学習タイムウィンドウを超えて、外挿を成功裏に実行する。