[论文解读] Joint Modeling of Local and Global Temporal Dynamics for Multivariate Time Series Forecasting with Missing Values

Xianfeng Tang, Huaxiu Yao+4 more|arXiv (Cornell University)|Nov 22, 2019

Time Series Analysis and Forecasting参考文献 31被引用 13

一句话总结

该论文提出LGnet，一种新颖的深度学习框架，用于在存在缺失值的情况下进行多变量时间序列（MTS）预测，通过联合建模局部和全局时间动态实现。它利用记忆网络，通过局部统计量作为键，从外生序列中提取全局模式，并结合对抗性训练以提升生成序列的真实性，即使在高达90%的缺失率下仍实现了最先进性能。

ABSTRACT

Multivariate time series (MTS) forecasting is widely used in various domains, such as meteorology and traffic. Due to limitations on data collection, transmission, and storage, real-world MTS data usually contains missing values, making it infeasible to apply existing MTS forecasting models such as linear regression and recurrent neural networks. Though many efforts have been devoted to this problem, most of them solely rely on local dependencies for imputing missing values, which ignores global temporal dynamics. Local dependencies/patterns would become less useful when the missing ratio is high, or the data have consecutive missing values; while exploring global patterns can alleviate such problems. Thus, jointly modeling local and global temporal dynamics is very promising for MTS forecasting with missing values. However, work in this direction is rather limited. Therefore, we study a novel problem of MTS forecasting with missing values by jointly exploring local and global temporal dynamics. We propose a new framework LGnet, which leverages memory network to explore global patterns given estimations from local perspectives. We further introduce adversarial training to enhance the modeling of global temporal distribution. Experimental results on real-world datasets show the effectiveness of LGnet for MTS forecasting with missing values and its robustness under various missing ratios.

研究动机与目标

• 解决数据中存在缺失值（尤其是高比例或连续缺失）时多变量时间序列（MTS）预测的挑战。
• 克服现有方法仅依赖局部依赖关系的局限性，这些方法在高缺失率下性能下降。
• 联合建模局部与全局时间动态，以提升不完整MTS数据中的插补与预测准确性。
• 通过对抗性训练建模全局时间分布，提升生成序列的真实性。
• 开发一个统一的端到端框架，同时处理缺失数据插补与预测，无需预处理步骤。

提出的方法

• 为每个变量构建局部统计特征（如经验均值、最近观测值）作为输入键，用于查询全局记忆组件。
• 采用记忆网络模块，利用局部统计量作为查询，从外生MTS序列中存储并检索全局时间动态模式。
• 将检索到的全局估计值用作输入序列中缺失条目的插补值。
• 集成对抗性训练方案，其中判别器区分真实MTS序列与生成序列，促使生成器（基于LSTM的预测头）生成更具真实感的全局分布。
• 使用组合损失函数端到端优化网络：包括预测损失（RMSE/MAE）与对抗性损失，通过超参数λ平衡两者。
• 以端到端方式应用该框架，实现插补与预测的联合学习，无需单独的预处理步骤。

实验结果

研究问题

• RQ1 联合建模局部与全局时间动态是否能提升含缺失值数据的MTS预测性能？
• RQ2 记忆网络模块在捕捉并利用外生序列中的全局时间模式以提升插补与预测性能方面效果如何？
• RQ3 对抗性训练是否能增强生成MTS序列的真实感与准确性，尤其是在高缺失率下？
• RQ4 在不同缺失率下，所提出的LGnet框架与现有最先进方法相比，在鲁棒性与准确性方面表现如何？
• RQ5 在不同缺失数据模式（包括连续缺失值）下，记忆模块与对抗性训练的贡献分别是什么？

主要发现

• 在Porto Taxi与London Weather数据集上，LGnet在所有缺失率（p = 0.1 至 0.9）下均达到最低RMSE与MAE，优于非RNN、RNN-based及最先进方法（如GRU-D与BRITS）。
• 记忆模块显著提升性能，尤其在高缺失率下（如p=0.9），与无记忆模块的消融版本（LGnet_adv）相比，RMSE最高降低25%。
• 对抗性训练使RMSE降低2%–10%，在London Weather数据集及高缺失率下效果更显著。
• 平衡对抗性损失与预测损失的最优超参数λ位于1至10之间，当λ=100时性能反而下降。
• 在Beijing Air Quality数据集上，当k=1时，LGnet在p=0.9下RMSE为0.0337，优于消融模型LGnet_adv（RMSE=0.0710），证明了全局建模的有效性。
• 消融研究证实，当局部统计量因高缺失率而不可靠时，记忆模块最具优势，验证了全局动态的互补作用。