[论文解读] A Multi-view Multi-task Learning Framework for Multi-variate Time Series Forecasting

Jinliang Deng, Xiusi Chen+3 more|arXiv (Cornell University)|Sep 2, 2021

Time Series Analysis and Forecasting参考文献 37被引用 10

一句话总结

本文提出了一种用于多变量时间序列（MTS）预测的多视图多任务（MVMT）学习框架，通过利用空间和时间视图将预测任务分解为特定任务的子问题。通过应用带有先验知识的任务特定归一化和仿射变换，该模型增强了表征的可区分性，从而在三个真实世界数据集上提升了预测精度和效率。

ABSTRACT

Multi-variate time series (MTS) data is a ubiquitous class of data abstraction in the real world. Any instance of MTS is generated from a hybrid dynamical system and their specific dynamics are usually unknown. The hybrid nature of such a dynamical system is a result of complex external attributes, such as geographic location and time of day, each of which can be categorized into either spatial attributes or temporal attributes. Therefore, there are two fundamental views which can be used to analyze MTS data, namely the spatial view and the temporal view. Moreover, from each of these two views, we can partition the set of data samples of MTS into disjoint forecasting tasks in accordance with their associated attribute values. Then, samples of the same task will manifest similar forthcoming pattern, which is less sophisticated to be predicted in comparison with the original single-view setting. Considering this insight, we propose a novel multi-view multi-task (MVMT) learning framework for MTS forecasting. Instead of being explicitly presented in most scenarios, MVMT information is deeply concealed in the MTS data, which severely hinders the model from capturing it naturally. To this end, we develop two kinds of basic operations, namely task-wise affine transformation and task-wise normalization, respectively. Applying these two operations with prior knowledge on the spatial and temporal view allows the model to adaptively extract MVMT information while predicting. Extensive experiments on three datasets are conducted to illustrate that canonical architectures can be greatly enhanced by the MVMT learning framework in terms of both effectiveness and efficiency. In addition, we design rich case studies to reveal the properties of representations produced at different phases in the entire prediction procedure.

研究动机与目标

• 为解决具有未知混合动态特性的非平稳、复杂多变量时间序列的预测挑战。
• 挖掘现有模型通常未被充分利用的MTS数据中的隐藏多视图多任务（MVMT）结构。
• 通过显式建模任务内相似性和任务间差异性，利用特定任务操作提升预测性能。
• 通过增强特征空间中任务内相关性和削弱任务间相关性，提升表征学习效果。

提出的方法

• 该框架引入两项核心操作：按任务的仿射变换和按任务的归一化，分别应用于源自空间或时间视图的每个任务。
• 任务基于共享的外部属性定义——例如时间（时间视图）或地理区域（空间视图）——以分组具有相似动态特性的数据。
• 该模型将这些操作无缝集成到标准深度学习架构（如Wavenet、Transformer）中，无需架构重构，实现即插即用的性能增强。
• 该方法利用先验知识（如每日周期性）指导任务划分，从而提升表征质量。
• 主成分分析（PCA）用于可视化和验证：增强后的表征展现出更强的任务内相关性和更弱的任务间相关性。
• 该框架具有灵活性和可扩展性，可根据特定应用属性集成额外视图。

Figure 1: NYC shared bike demand.

实验结果

研究问题

• RQ1 如何有效发现并利用多变量时间序列中的隐藏多视图多任务结构以提升预测性能？
• RQ2 任务特定归一化和仿射变换在多变量时间序列预测中能在多大程度上提升表征质量和预测性能？
• RQ3 与标准模型相比，MVMT框架是否在多种真实世界数据集中同时提升了准确性和效率？
• RQ4 模型不同阶段学习到的表征在任务内和任务间相关性方面有何差异？
• RQ5 该框架能否在复杂、非平稳动态条件下保持表征中的尺度和模式信息？

主要发现

• MVMT框架在三个真实世界数据集上显著提升了预测性能，相较于基线模型展现出更高的准确性和更快的收敛速度。
• 基于PCA的案例研究显示，增强后的模型生成的表征具有最强的任务内相关性和最弱的任务间相关性，表明特征可区分性得到提升。
• 增强模型学习到的表征不仅编码了任务内的模式相似性，还保留了尺度信息，这一点通过基于观测值大小的重新着色可视化得到验证。
• 该框架在不改变架构的前提下显著提升了Wavenet和Transformer等标准深度学习模型的有效性，证明了其通用性和即插即用的兼容性。
• 所提出的操作使表征空间更具线性和结构化，表现为前几个主成分解释的方差更高。
• 该模型保持了鲁棒性和高效性，在不同时间预测范围和任务分组下均表现出一致的性能提升。

(a)