[論文レビュー] The DeepCAR Method: Forecasting Time-Series Data That Have Change Points

Ayla Jungbluth, Johannes Lederer|arXiv (Cornell University)|Feb 22, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、バッチサイズの適応を通じて変化点を検出し統合することで、時系列予測を向上させるDeepARフレームワークの新規拡張であるDeepCARを提案する。変化点を含む時間窓を除外または分離するようにトレーニングバッチを修正することで、クリーンなデータでは性能を維持し、変化点を含むデータでは著しく精度を向上させ、実世界および合成データセットにおいて、標準的なDeepARおよびナイーブなベースラインと比較して、テストRMSEで最大9%の改善を達成する。

ABSTRACT

Many methods for time-series forecasting are known in classical statistics, such as autoregression, moving averages, and exponential smoothing. The DeepAR framework is a novel, recent approach for time-series forecasting based on deep learning. DeepAR has shown very promising results already. However, time series often have change points, which can degrade the DeepAR's prediction performance substantially. This paper extends the DeepAR framework by detecting and including those change points. We show that our method performs as well as standard DeepAR when there are no change points and considerably better when there are change points. More generally, we show that the batch size provides an effective and surprisingly simple way to deal with change points in DeepAR, Transformers, and other modern forecasting models.

研究の動機と目的

• 変化点を含む時系列データにおける予測性能の低下という、DeepARおよびその他のディープラーニングモデルの限界を解消すること。
• モデルの再トレーニングやアーキテクチャの変更を要せず、既存のディープラーニング予測フレームワークに変化点検出を統合する手法を開発すること。
• 元の予測モデルの特性と実装をそのままで、時系列データの構造的シフトに対するロバスト性を向上させること。
• バッチサイズの選択が、Transformer や TFT を含むさまざまなモデルにおいて、変化点を扱う一般化可能なメカニズムとして機能することを示すこと。
• 既存のあらゆる変化点検出手法を、バッチ学習型予測モデルのトレーニングパイプラインにシームレスに統合できるようにすること。

提案手法

• 変化点検出で得られた境界を用いて、変化点を含む時間窓を除外または分離するように、DeepARにおけるトレーニングバッチ生成プロセスを変更する。
• トレーニングの前段階で、時系列データ内の構造的シフトを特定するために、変化点検出アルゴリズム（例：MOSUM）を適用する。
• 検出された変化点を用いてバッチの境界を定義し、トレーニングウィンドウが変化点を跨がないようにすることで、モデルの混乱を低減する。
• 元のDeepARアーキテクチャと尤度に基づくトレーニングプロセスを維持し、トレーニングインスタンスのサンプリングのみを変更する。
• 同じバッチレベルのフィルタリング機構を適用することで、Transformer や時系列融合Transformer（TFT）などの他のバッチ学習型モデルに対しても、このアプローチを一般化する。
• GluonTSなどの既存フレームワークに影響を与えることなく、コアモデルを変更せずに統合可能なモジュラーなパイプライン（通称：BatchCP）として実装する。

実験結果

リサーチクエスチョン

• RQ1 DeepARにおけるトレーニングバッチのサンプリングプロセスを変更することで、時系列データの変化点を効果的に取り扱えるか？
• RQ2 検出された変化点をトレーニングバッチに統合することで、構造的シフトを示すデータにおいて、標準的なDeepARと比較して予測精度が向上するか？
• RQ3 バッチサイズが、Transformer や TFT を含む多様なディープラーニング予測モデルにおいて、一般化可能なメカニズムとして機能するか？
• RQ4 既知の変化点を有する実世界の時系列データにおいて、DeepCARの性能は、vanilla DeepARおよびナイーブなベースラインと比較してどの程度優れているか？
• RQ5 提案手法は、Attentionベースのモデル（例：Transformer や TFT）へどの程度一般化可能か？

主な発見

• MOSUMに基づく変化点検出を用いた場合、Treasuryデータセットにおいて、DeepCARは標準的なDeepARと比較してテストRMSEが最大9%改善され、テストRMSEは5.61（DeepARは5.93）を記録した。
• 13個の制御された変化点を有する合成データでは、手動による検出を用いたDeepCARが、テストRMSEをDeepARの5.77から5.40に低下させ、6.4%の改善を達成した。
• 汚染度データセットでは、MOSUM検出を用いたDeepCARが、変化点検出なしのTransformerのテストRMSE 96.23を93.12に低下させ、3.2%の改善を示したが、これはベースラインの誤差が高いため、特に顕著な改善である。
• 変化点のないデータにおいても、DeepCARはDeepARと同等の性能を維持しており、変化点が存在しない場合に性能が低下しないことを確認した。
• この手法は、Transformer や TFT に対しても効果的に一般化され、変化点がトレーニングバッチから除外された場合に、それらのモデルの予測精度が向上した。
• バッチサイズ選択戦略は、DeepAR、Transformer、TFTを含む複数のモデルにおいて、変化点を扱う非常にシンプルで効果的な方法を提供していることが、驚くべきほど明確に示された。