[论文解读] Towards Better Forecasting by Fusing Near and Distant Future Visions

Jiezhu Cheng, Kaizhu Huang+1 more|arXiv (Cornell University)|Dec 11, 2019

Behavioral Health and Interventions参考文献 28被引用 4

一句话总结

本文提出多层级表征神经网络（MLCNN），一种多任务深度学习框架，通过借鉴表征水平理论（Construal Level Theory）的共享编码器-解码器架构，融合近期与远期预测，从而提升多变量时间序列预测性能。该模型在三个真实世界数据集上实现了最先进性能，平均RMSE降低4.59%，平均MAE降低6.87%，通过联合建模多个预测任务并整合自回归组件以增强尺度鲁棒性。

ABSTRACT

Multivariate time series forecasting is an important yet challenging problem in machine learning. Most existing approaches only forecast the series value of one future moment, ignoring the interactions between predictions of future moments with different temporal distance. Such a deficiency probably prevents the model from getting enough information about the future, thus limiting the forecasting accuracy. To address this problem, we propose Multi-Level Construal Neural Network (MLCNN), a novel multi-task deep learning framework. Inspired by the Construal Level Theory of psychology, this model aims to improve the predictive performance by fusing forecasting information (i.e., future visions) of different future time. We first use the Convolution Neural Network to extract multi-level abstract representations of the raw data for near and distant future predictions. We then model the interplay between multiple predictive tasks and fuse their future visions through a modified Encoder-Decoder architecture. Finally, we combine traditional Autoregression model with the neural network to solve the scale insensitive problem. Experiments on three real-world datasets show that our method achieves statistically significant improvements compared to the most state-of-the-art baseline methods, with average 4.59% reduction on RMSE metric and average 6.87% reduction on MAE metric.

研究动机与目标

• 解决现有模型仅预测单一未来时间点、未能利用不同时间距离预测间交互关系的局限性。
• 通过借鉴人类预测的心理学理论（表征水平理论），融合近期与远期预测愿景，提升预测准确性。
• 设计一种深度学习架构，在多个预测任务间共享表征，同时保持模型效率与鲁棒性。
• 通过整合传统自回归模型与非线性神经组件，缓解神经网络预测中的尺度不敏感问题。

提出的方法

• 模型使用多层级卷积神经网络（CNN）从原始时间序列数据中提取分层抽象表征，用于不同未来时间范围的多个预测任务。
• 一个共享的长短期记忆网络（LSTM）作为融合编码器，捕捉近期与远期预测之间的相互作用。
• 一个专用的主LSTM作为解码器，利用共享特征生成目标时间步的主要预测结果。
• 在神经网络中集成自回归组件，以增强对输入尺度变化的鲁棒性。
• 在任务之间对CNN与LSTM组件应用参数共享，以保持模型效率并降低复杂度。
• 采用多任务学习目标端到端训练模型，联合优化多个未来时间点的预测结果。

实验结果

研究问题

• RQ1 融合来自多个未来时间范围（近期与远期）的预测是否能提升主要预测任务的准确性？
• RQ2 通过共享表征建模不同未来愿景之间的相互作用，能否提升多变量时间序列预测中的泛化能力？
• RQ3 借鉴心理学表征理论的多层级抽象机制在多大程度上能提升预测性能？
• RQ4 将神经网络与自回归组件结合，能否缓解基于深度学习的时间序列预测中的尺度敏感性问题？
• RQ5 所提出的MLCNN架构在超参数变化与数据集规模变化下具有多强的鲁棒性？

主要发现

• MLCNN在所有最先进基线模型上均取得统计上显著的性能提升，在三个真实世界数据集上平均RMSE降低4.59%，平均MAE降低6.87%。
• 完整MLCNN模型优于所有变体，表明多层级抽象、共享融合编码器、主解码器及自回归集成等各组件均对性能提升有贡献。
• 移除自回归组件（MLCNN-nA）导致性能下降最显著，证实了尺度不变建模的重要性。
• 与LSTNet及其变体相比，MLCNN表现出更低的方差和更强的超参数变化鲁棒性，表明其泛化能力稳定。
• 尽管采用多任务设计，MLCNN仍保持与基线模型相当的训练与推理时间，证明其高效性。
• 消融实验确认，共享融合编码器与多层级抽象机制对性能至关重要，其移除会导致一致且显著的准确率下降。