[論文レビュー] Deep Explicit Duration Switching Models for Time Series

Abdul Fatir Ansari, Konstantinos Benidis+6 more|arXiv (Cornell University)|Oct 26, 2021

Time Series Analysis and Forecasting参考文献 46被引用数 4

ひとこと要約

本稿では、再帰的状態からスイッチへの接続と明示的な持続時間モデリングを用いて、時系列における状態依存および時間依存のスイッチングダイナミクスを統合的に捉える、再帰的明示的持続時間スイッチング動的システム（RED-SDS）を提案する。連続的状態の近似推論と離散的スイッチおよびカウントの正確な前向き後向き推論を組み合わせたハイブリッド推論により、複数のベンチマークで最先端のセグメンテーション性能と競争力のある予測性能を達成する。

ABSTRACT

Many complex time series can be effectively subdivided into distinct regimes that exhibit persistent dynamics. Discovering the switching behavior and the statistical patterns in these regimes is important for understanding the underlying dynamical system. We propose the Recurrent Explicit Duration Switching Dynamical System (RED-SDS), a flexible model that is capable of identifying both state- and time-dependent switching dynamics. State-dependent switching is enabled by a recurrent state-to-switch connection and an explicit duration count variable is used to improve the time-dependent switching behavior. We demonstrate how to perform efficient inference using a hybrid algorithm that approximates the posterior of the continuous states via an inference network and performs exact inference for the discrete switches and counts. The model is trained by maximizing a Monte Carlo lower bound of the marginal log-likelihood that can be computed efficiently as a byproduct of the inference routine. Empirical results on multiple datasets demonstrate that RED-SDS achieves considerable improvement in time series segmentation and competitive forecasting performance against the state of the art.

研究の動機と目的

• 既存のスイッチング動的システムが、状態依存および時間依存の両方のスイッチング行動を同時にモデル化できないという限界に対処すること。
• 長期的な時間的パターンを捉え、過剰セグメンテーションを低減することで、時系列セグメンテーションを改善すること。
• レジーム固有のダイナミクスを学習し、一貫して外挿することで、競争力のある確率的予測を可能にすること。
• 連続的状態の近似推論と離散的スイッチおよび持続時間カウントの正確推論を組み合わせた効率的な推論アルゴリズムを開発すること。
• 持続時間モデルのハイパーパrameterを通じたインダクティブバイアスの組み込みにより、複雑な時系列における恒常的レジームの特定をより良くすること。

提案手法

• RED-SDSは、非線形かつ再帰的な遷移を経て進化する潜在状態を用いて時系列をモデル化し、スイッチがアクティブなレジームを決定する。
• 時間依存のスイッチングをモデル化するために、明示的な持続時間変数を導入し、各スイッチが持つ持続時間分布（例：幾何分布やガンマ分布）を用いることで、あるレジームにおける持続性を捉える。
• 状態からスイッチへの再帰的接続により、状態軌道に基づいた状態依存スイッチングを可能にし、状態に応じたレジーム変更を実現する。
• ハイブリッド推論を採用：連続的状態の事後分布を推定するための推論ネットワークと、離散的スイッチおよびカウントの事後分布を計算する正確な前向き後向きアルゴリズムを併用する。
• 訓練は、推論ルーチン中に効率的に計算可能なモンテカルロ下界（ELBO）を最大化することで行う。
• ニューラルネットワークを用いて遷移、発生、スイッチダイナミクスをパラメータ化し、非線形的かつ非ガウス的な時系列の柔軟なモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが、時系列における状態依存および時間依存の両方のスイッチングダイナミクスを効果的に捉えられるか？
• RQ2 明示的な持続時間モデリングにより、それなしのモデルと比較してセグメンテーションの正確性が向上し、過剰セグメンテーションが低減するか？
• RQ3 ハイブリッド推論フレームワークは、状態および時間依存の両方のスイッチングの複雑さを効率的に処理できるか？
• RQ4 多様なデータセットにおいて、RED-SDSは最先端のモデルと比較して予測性能に優れるか？
• RQ5 構造的制約を課さずに、意味的で解釈可能なレジームをモデルが学習できるか？

主な発見

• RED-SDSは、強力なベースライン（例：[13]）を著しく上回る時系列セグメンテーション性能を示し、過剰セグメンテーションを低減し、長期的なパターンをよりよく捉える。これはダンシングビーズデータセットで実証された。
• 予測性能についても競争力があり、CRPS指標において、DeepAR や KVAE などの最先端モデルと同等またはそれ以上の結果を達成した。
• 明示的な持続時間モデリングにより、モデルは恒常的レジームを学習し、予測期間にわたり一貫して外挿可能となり、予測タスクを簡素化した。
• ハイブリッド推論アルゴリズムにより、効率的な学習と推論が可能となり、推論ルーチンの副産物としてモンテカルロELBOが計算された。
• 持続時間モデルの分布と状態次元（2–16）のハイパーパramータチューニングにより、複数のデータセットで性能が向上し、インダクティブバイアスの重要性が示された。
• 複雑で混合されたスイッチング行動を示す時系列、例えば都市の電力消費やミツバチのワググルダンスなど、多様な時系列に対して、モデルは頑健であることが示された。