[論文レビュー] Joint Modeling of Local and Global Temporal Dynamics for Multivariate Time Series Forecasting with Missing Values

Xianfeng Tang, Huaxiu Yao+4 more|arXiv (Cornell University)|Nov 22, 2019

Time Series Analysis and Forecasting参考文献 31被引用数 13

ひとこと要約

本稿では、局所的およびグローバルな時間的ダイナミクスを統合的にモデリングすることにより、欠損値を含む多次元時系列（MTS）予測のための新しい深層学習フレームワーク、LGnetを提案する。グローバルパターンは、局所統計をキーとして用いるメモリネットワークを介して外部時系列から活用され、生成された系列の現実性を向上させるために adversarial training が組み込まれており、90%に達する高い欠損率下でも最先端の性能を達成している。

ABSTRACT

Multivariate time series (MTS) forecasting is widely used in various domains, such as meteorology and traffic. Due to limitations on data collection, transmission, and storage, real-world MTS data usually contains missing values, making it infeasible to apply existing MTS forecasting models such as linear regression and recurrent neural networks. Though many efforts have been devoted to this problem, most of them solely rely on local dependencies for imputing missing values, which ignores global temporal dynamics. Local dependencies/patterns would become less useful when the missing ratio is high, or the data have consecutive missing values; while exploring global patterns can alleviate such problems. Thus, jointly modeling local and global temporal dynamics is very promising for MTS forecasting with missing values. However, work in this direction is rather limited. Therefore, we study a novel problem of MTS forecasting with missing values by jointly exploring local and global temporal dynamics. We propose a new framework LGnet, which leverages memory network to explore global patterns given estimations from local perspectives. We further introduce adversarial training to enhance the modeling of global temporal distribution. Experimental results on real-world datasets show the effectiveness of LGnet for MTS forecasting with missing values and its robustness under various missing ratios.

研究の動機と目的

• 欠損値が含まれる場合、特に高い欠損率または連続的な欠損が生じる状況における多次元時系列（MTS）予測の課題に対処すること。
• 高欠損率下で性能が低下する、単一の局所的依存関係に依存する従来の手法の限界を克服すること。
• 欠損のある MTS データにおける補完および予測精度の向上を図るため、局所的およびグローバルな時間的ダイナミクスを統合的にモデリングすること。
• adversarial training を用いてグローバル時間的分布をモデリングすることで、生成された系列の現実性を向上させること。
• 事前処理を必要とせず、欠損データ補完と予測を同時に処理できる統合的でエンド・ツー・エンドのフレームワークを構築すること。

提案手法

• 各変数の局所的統計特徴（例：経験的平均、直近観測値）を生成し、グローバルメモリコンponentを照会するためのキーとして用いる。
• 局所統計を照会キーとして用い、外部 MTS シーケンスからのグローバル時間的ダイナミクスを格納・取得するメモリネットワークモジュールを採用する。
• 取得したグローバル推定値を、入力シーケンス内の欠損値の補完値として使用する。
• 識別器が本物の MTS シーケンスと生成されたシーケンスを区別するようにする adversarial training スキームを統合し、生成器（LSTMベースの予測ヘッド）がより現実的なグローバル分布を生成するよう促進する。
• 予測損失（RMSE/MAE）と adversarial 損失の両方を組み合わせた損失関数を最適化し、両者を調整するハイパーパrameter λ を用いる。
• 事前処理ステップを別途必要とせず、補完と予測の両方を同時に学習できるエンド・ツー・エンドのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 欠損値を含む MTS 予測において、局所的およびグローバルな時間的ダイナミクスを統合的にモデリングすることは、性能向上に寄与するか？
• RQ2 メモリネットワークモジュールは、外部時系列からのグローバル時間的ダイナミクスを効果的に捉え、補完および予測性能を向上させるのに有効か？
• RQ3 adversarial training は、特に高い欠損率下において、生成された MTS シーケンスの現実性と正確性を向上させるか？
• RQ4 さまざまな欠損率下でのロバストネスと正確性の観点から、提案された LGnet フレームワークは、既存の最先端手法と比較して優れているか？
• RQ5 連続的な欠損値を含むさまざまな欠損データパターン下で、メモリモジュールと adversarial training の貢献度は何か？

主な発見

• Porto Taxi および London Weather データセットにおいて、欠損率 p = 0.1 から 0.9 の全範囲で、LGnet は非 RNN、RNN ベース、および GRU-D や BRITS などの最先端手法を上回り、RMSE および MAE が最小となる。
• メモリモジュールは、特に高い欠損率（例：p=0.9）下で顕著な性能向上をもたらし、メモリを搭載しないアブレーションバージョン（LGnet_adv）と比較して、RMSE を最大 25% 減少させた。
• adversarial training は RMSE を 2%～10% 減少させ、特に London Weather データセットおよび高い欠損率下で顕著な改善が得られた。
• adversarial 損失と予測損失のバランスをとる最適なハイパーパrameter λ は 1 から 10 の間であり、100 に設定すると性能が劣化することが判明した。
• k=1 の北京大気質データセットにおいて、p=0.9 時に LGnet は RMSE 0.0337 を達成し、アブレーション版の LGnet_adv（RMSE=0.0710）を上回り、グローバルモデリングの有効性を示した。
• アブレーションスタディにより、局所統計が高欠損率のため信頼性が低下する状況で、メモリモジュールが最も有益であることが確認され、グローバルダイナミクスの補完的役割が裏付けられた。