[論文レビュー] Foundations of Sequence-to-Sequence Modeling for Time Series

Vitaly Kuznetsov, Zelda Mariet|arXiv (Cornell University)|May 9, 2018

Time Series Analysis and Forecasting参考文献 41被引用数 24

ひとこと要約

この論文は、時系列予測における系列対系列（seq2seq）モデルの最初の理論的一般化バウンドを提供し、非定常性および系列間相関を用いたサンプル複雑度を分析している。$ m $（時系列数）が系列長 $ T $ よりもはるかに大きい場合、弱い相関のもとではseq2seqモデルが局所モデルを上回ることを示している。一方、$ m \ll T $ または相関が強い場合には局所モデルが優れている。

ABSTRACT

The availability of large amounts of time series data, paired with the performance of deep-learning algorithms on a broad class of problems, has recently led to significant interest in the use of sequence-to-sequence models for time series forecasting. We provide the first theoretical analysis of this time series forecasting framework. We include a comparison of sequence-to-sequence modeling to classical time series models, and as such our theory can serve as a quantitative guide for practitioners choosing between different modeling methodologies.

研究の動機と目的

• 時系列予測における系列対系列モデリングのための最初の理論的一般化保証を提供すること。
• 統計的性質が変化する条件下で、古典的な局所モデル（例：ARIMA、VARMA）と比較してseq2seqモデルのサンプル複雑度を分析すること。
• 非定常性および系列間相関に基づいて、seq2seqモデリングが局所モデリングよりも好ましいとされる条件を同定すること。
• 時系列の非定常性を定量化するためのデータに依存する新たな不一致測度を導入・分析すること。
• 局所的およびseq2seq学習を組み合わせたハイブリッドモデルを研究し、そのフレームワークにおける一般化バウンドを導出すること。

提案手法

• $ m $ 個の時系列の各々を、過去の系列 $ Y_1^{T-1}(i) $ から次の値 $ Y_T(i) $ への入出力ペアとして扱う、系列対系列モデリングの形式的フレームワークを提案。
• 各時刻における非定常性を定量化する新しい不一致測度 $ \Delta_t $ を導入。これは、訓練分布とテスト分布における期待損失の差として定義される。
• 実データセットにおける非定常性の経験的評価を可能にする、データに依存する不一致測度の定式化を定義。
• 期待混合係数と不一致測度を用いて、seq2seqモデルの一般化バウンドを導出。弱い相関のもとでは、サンプル複雑度が $ \mathcal{O}(\sqrt{T/m}) $ に比例することを示した。
• 同じ理論的ツールを局所モデルに適用し、$ \mathcal{O}(\sqrt{\log m / T}) $ に比例するバウンドを導出し、直接的な比較を可能にした。
• 局所的およびseq2seq学習を組み合わせたハイブリッドモデルを提案。一般化バウンドは $ m $ と $ T $ の両方に依存し、新たな時刻特有の不一致測度 $ \Delta_t $ を用いた。

実験結果

リサーチクエスチョン

• RQ1 系列対系列モデルの一般化能力は非定常性および系列間相関にどのように依存するか？
• RQ2 サンプル複雑度および統計的性質の観点から、seq2seqモデリングと局所モデリングのどちらが好ましいか、それぞれの条件下での条件は何か？
• RQ3 不一致測度はデータから計算可能か？また、seq2seqモデリングが成功するかどうかを示す実用的指標として機能するか？
• RQ4 局所的およびseq2seq学習を組み合わせたハイブリッドモデルの性能はどのようにか？また、その一般化保証は何か？
• RQ5 理論的バウンドは、学習時に観測されなかった分布外の時系列にどのように拡張可能か？

主な発見

• seq2seqモデルの一般化誤差は $ \mathcal{O}(\sqrt{T/m}) $ に比例し、弱い系列間相関のもとで $ m \gg T $ の場合に優れた性能を示すことが示された。
• 局所モデルのサンプル複雑度は $ \mathcal{O}(\sqrt{\log m / T}) $ に比例し、$ m \ll T $ または時系列が強く相関している場合には、局所モデルが好ましいことが示された。
• 不一致測度 $ \Delta_t $ はデータから計算可能であり、非定常性の実用的指標として機能する。値が低いほどseq2seqモデルの性能が向上することが示唆された。
• ハイブリッドモデルは、$ m \gg T $ または $ T \gg m $ のいずれかの条件下で良好な一般化バウンドを達成するが、その性能は時刻特有の不一致測度 $ \Delta_t $ を含むより複雑なトレードオフに依存する。
• 理論的フレームワークは、テスト時に新しい時系列が観測される分布外予測にまで拡張可能であり、やや弱い仮定のもとでseq2seqモデルが一般化可能であることが示された。
• 分析により、個々の時系列が短くても、$ m $ が大きく、かつ相関が弱い場合、seq2seqモデルが局所モデルを上回ることを示した。