[論文レビュー] Probabilistic Time Series Forecasting with Structured Shape and Temporal Diversity

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|Oct 14, 2020

Time Series Analysis and ForecastingComputer Science参考文献 8被引用数 20

ひとこと要約

本論文は、微分可能で正定値の行列式点過程（DPP）カーネルを用いて構造的形状と時間的多様性をモデル化する確率的時系列予測フレームワーク、STRIPEを提案する。アンラッピングされた潜在空間における反復的サンプリング機構により、品質と多様性の目的を分離することで、鋭い、多様で正確な予測を生成し、合成および実世界のデータセットにおいて、予測品質と多様性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Probabilistic forecasting consists in predicting a distribution of possible future outcomes. In this paper, we address this problem for non-stationary time series, which is very challenging yet crucially important. We introduce the STRIPE model for representing structured diversity based on shape and time features, ensuring both probable predictions while being sharp and accurate. STRIPE is agnostic to the forecasting model, and we equip it with a diversification mechanism relying on determinantal point processes (DPP). We introduce two DPP kernels for modeling diverse trajectories in terms of shape and time, which are both differentiable and proved to be positive semi-definite. To have an explicit control on the diversity structure, we also design an iterative sampling mechanism to disentangle shape and time representations in the latent space. Experiments carried out on synthetic datasets show that STRIPE significantly outperforms baseline methods for representing diversity, while maintaining accuracy of the forecasting model. We also highlight the relevance of the iterative sampling scheme and the importance to use different criteria for measuring quality and diversity. Finally, experiments on real datasets illustrate that STRIPE is able to outperform state-of-the-art probabilistic forecasting approaches in the best sample prediction.

研究の動機と目的

• 非定常時系列のための鋭い、多様で正確な確率的予測を生成する課題に対処すること。
• 予測軌道における形状と時間的変動を明示的に制御できる構造的多様性メカニズムを導入すること。
• 予測精度と多様性の間のトレードオフを回避するために、確率的予測における品質と多様性の目的を分離すること。
• 反復的サンプリングを用いた分離された潜在表現を通じて、多様性構造に対する明示的制御を可能にすること。
• 構造的多様性と品質に配慮した学習を組み合わせることで、多様性と平均予測性能の両方が向上することを実証すること。

提案手法

• 将来の軌道の形状（DTWを介して）および時間（TDIを介して）特徴における多様性をモデル化するための、2つの微分可能で正定値のDPPカーネルを提案する。
• 形状と時間の成分が反復的サンプリング機構を介して明示的に分離された、分離された潜在空間表現を導入する。
• DPPに基づく多様性メカニズムを採用し、高品質な予測を維持しながら、多様で重複のない予測を保証する。
• STRIPEに依存しない予測モデルを採用することで、決定論的および生成的モデルの両方との統合が可能になる。
• 品質（例：DILATE）と多様性（DPPカーネルを介して）のための別々の損失関数を用いた、マルチ目的学習戦略を適用する。
• 反復的に予測を精緻化するサンプリングスキームを採用し、潜在空間における形状と時間の表現の分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で正定値のDPPカーネルを用いて、確率的予測における形状と時間の構造的多様性を効果的にモデル化できるか？
• RQ2 品質と多様性の目的を分離することで、予測精度と多様性の間のより良いトレードオフが達成できるか？
• RQ3 分離された潜在空間における反復的サンプリングは、予測軌道における形状と時間的特徴の分離を向上させられるか？
• RQ4 平均予測品質と最良サンプルの多様性の両面で、STRIPEは最先端のモデルを上回るか？
• RQ5 多様性と品質の指標の選択が、確率的予測モデルの性能にどの程度影響を及えるか？

主な発見

• STRIPE S+T は、合成および実世界のデータセットの両方において、最良のサンプル軌道評価ですべてのベースライン手法を上回り、MSEとDILATE損失が低かった。
• ETTh1およびECLデータセットにおいて、STRIPE S+T は最良のサンプル予測で最高の性能を発揮し、SOTAの決定論的モデルN-BEATS即ちを上回った。
• 反復的サンプリング機構により、形状と時間の表現が効果的に分離され、予測におけるより構造的かつ解釈可能な多様性が実現された。
• 実験の結果、STRIPEは平均予測品質を維持またはわずかに向上させながら、多様性を顕著に増加させた。これは、多様性を犠牲にして品質を落とすモデルとは対照的であった。
• 散布図分析により、STRIPE S+T は、DILATE損失が一貫して低く、形状の多様性（DTW）と時間的多様性（TDI）の両方を良好にバランスさせていることが確認された。これは、品質を犠牲にして多様性を増やすモデルとは対照的であった。
• アブレーションスタディにより、品質と多様性に別々の基準を用いることが不可欠であることが示された。同一の指標を両者に用いるモデルは、相反する目的による性能劣化を示した。