[論文レビュー] Retrieval Based Time Series Forecasting

Baoyu Jing, Si Zhang+5 more|arXiv (Cornell University)|Sep 27, 2022

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、関連する歴史的時系列データを参照として活用することで、高い欠損率下でも精度を向上させるリtrievalベースの時系列予測手法ReTimeを提案する。理論的分析により、参照データが予測の不確実性を低減することを示し、実世界のデータセットを用いた実験結果から、特に予測期間が長い場合にReTimeの優れた性能が実証されている。

ABSTRACT

Time series data appears in a variety of applications such as smart transportation and environmental monitoring. One of the fundamental problems for time series analysis is time series forecasting. Despite the success of recent deep time series forecasting methods, they require sufficient observation of historical values to make accurate forecasting. In other words, the ratio of the output length (or forecasting horizon) to the sum of the input and output lengths should be low enough (e.g., 0.3). As the ratio increases (e.g., to 0.8), the uncertainty for the forecasting accuracy increases significantly. In this paper, we show both theoretically and empirically that the uncertainty could be effectively reduced by retrieving relevant time series as references. In the theoretical analysis, we first quantify the uncertainty and show its connections to the Mean Squared Error (MSE). Then we prove that models with references are easier to learn than models without references since the retrieved references could reduce the uncertainty. To empirically demonstrate the effectiveness of the retrieval based time series forecasting models, we introduce a simple yet effective two-stage method, called ReTime consisting of a relational retrieval and a content synthesis. We also show that ReTime can be easily adapted to the spatial-temporal time series and time series imputation settings. Finally, we evaluate ReTime on real-world datasets to demonstrate its effectiveness.

研究の動機と目的

• 歴史的観測値が限られている、特に高い欠損率（例：0.8）下での時系列予測における高い不確実性に対処すること。
• 条件付きエントロピーを用いて予測不確実性を理論的に定量化し、その不確実性を平均二乗誤差（MSE）と関連付けること。
• 参照データを用いるモデルが不確実性が低いために、トレーニングが容易になることの裏付けを示すこと。
• 効果的な時系列予測、補完、空間時系列モデリングを実現するための実用的二段階手法ReTimeを開発すること。
• 複数の実世界データセットおよび設定において、ReTimeの有効性を実験的に検証すること。

提案手法

• ReTimeは二段階フレームワークを採用する：まず、構造的またはトポロジカルな関係（例：センサーの隣接関係）に基づいて、関連する参照時系列を特定する関係性ベースの検索を実施する。
• 関係性ベースの検索により、入力の歴史的値が疎であったり、汚損していたりしても、信頼性の高い検索が可能になる。
• 次に、コンテンツ統合モジュールを用いて、ターゲット時系列と取得した参照データを統合し、将来の値を生成する。
• ターゲット自身の歴史的スニペットを最良の参照と見なすことで、空間時系列予測および時系列補完に対しても適応可能である。
• 理論的分析により、参照データを用いるモデルが予測の条件付きエントロピーを低下させることで不確実性を低減することを証明した。
• ハイパーパramータのアブレーションスタディ（特に参照数K）を実施し、最適な性能がK=5–10で達成されることを示した。

実験結果

リサーチクエスチョン

• RQ1 時系列予測における不確実性は、条件付きエントロピーを用いて理論的に定量化可能であり、標準的な指標（例：MSE）と関連づけられるか？
• RQ2 関連する参照時系列を検索することで、予測不確実性が低減され、特に高い欠損率下でもモデルの汎化性能が向上するか？
• RQ3 関係性ベースの検索とコンテンツ統合を組み合わせた二段階手法が、従来のディープラーニングモデルを上回る性能を発揮するか？
• RQ4 提案されたReTimeフレームワークは、予測にとどまらず、時系列補完および空間時系列モデリングに対しても有効であるか？
• RQ5 取得する参照数（K）がReTimeの性能および計算コストにどのように影響するか？

主な発見

• 理論的分析により、条件付きエントロピーで測定される予測不確実性が、平均二乗誤差（MSE）と直接関連していることが確認され、不確実性の定量化に形式的根拠が得られた。
• 参照データを用いるモデルは不確実性が低く、タスクの有効な複雑度が低下するため、トレーニングが容易になる。
• ReTimeは実世界のデータセットにおいて最先端の性能を達成しており、特に高い欠損率（例：0.8）下で標準的手法が著しく劣化する状況でも顕著な優位性を示した。
• ReTimeの最適な参照数（K）は5～10の範囲にあり、性能と計算コストのバランスが取れている。
• トレーニング時間およびGPUメモリ使用量はKに比例して増加するため、リソース使用が予測可能でスケーラブルであることが示された。