[论文解读] Discovering Latent Covariance Structures for Multiple Time Series

Anh Tong, Jaesik Choi|arXiv (Cornell University)|Mar 28, 2017

Time Series Analysis and Forecasting被引用 11

一句话总结

本文提出潜在核模型（LKM），一种新颖的高斯过程框架，利用印度餐厅过程（IBP）先验，从多个时间序列中发现共享且可解释的协方差结构。通过在异质、相关的时间序列间实现灵活、数据驱动的组合核选择，LKM在真实世界数据集上实现了最先进的预测性能，并生成人类可读的对比报告，显著优于现有多种任务高斯过程与核发现方法。

ABSTRACT

Analyzing multivariate time series data is important to predict future events and changes of complex systems in finance, manufacturing, and administrative decisions. The expressiveness power of Gaussian Process (GP) regression methods has been significantly improved by compositional covariance structures. In this paper, we present a new GP model which naturally handles multiple time series by placing an Indian Buffet Process (IBP) prior on the presence of shared kernels. Our selective covariance structure decomposition allows exploiting shared parameters over a set of multiple, selected time series. We also investigate the well-definedness of the models when infinite latent components are introduced. We present a pragmatic search algorithm which explores a larger structure space efficiently. Experiments conducted on five real-world data sets demonstrate that our new model outperforms existing methods in term of structure discoveries and predictive performances.

研究动机与目标

• 解决在多个相关时间序列中发现潜在共享协方差结构的挑战。
• 通过自动学习组合核结构，提升多变量时间序列建模的预测性能。
• 在无需强相关性假设的前提下，实现对时间序列关系的可解释、人类可读报告。
• 开发一种高效的搜索算法，用于探索多个时间序列间潜在核组合的庞大空间。
• 将现有核发现框架（如ABCD）推广至多时间序列设置，支持核组件的灵活、部分共享。

提出的方法

• 在指示矩阵上施加印度餐厅过程（IBP）先验，以建模哪些时间序列共享哪些加法核分量。
• 提出潜在核模型（LKM），一种非参数高斯过程模型，能够从数据中学习共享核结构，同时在存在无限潜在分量时仍保持数学上的定义完备性。
• 采用实用搜索算法（PSE），高效探索可能核组合的庞大且组合复杂的搜索空间。
• 使用随机核过程表示潜在特征，实现在多个时间序列间灵活的共享参数化。
• 应用近似推理，使模型可扩展至真实世界数据集，同时保持所发现核结构的可解释性。
• 通过分析高斯过程函数后验实现的样本，生成对比报告，突出显示不同时间序列之间的相似性与差异性。

实验结果

研究问题

• RQ1 如何自动发现多个异质时间序列之间的共享且可解释的协方差结构？
• RQ2 什么样的非参数高斯过程模型能够支持在多个时间序列间灵活、部分共享核分量？
• RQ3 如何高效搜索庞大潜在组合核结构空间，以找到最能解释数据的结构？
• RQ4 学习时间序列间共享核结构的模型是否能在预测精度上超越现有多种任务高斯过程与核发现方法？
• RQ5 所发现的核结构在多大程度上可被解释，并可用于生成关于时间序列关系的有意义、人类可读的对比报告？

主要发现

• 在五个真实世界数据集中的四个上，LKM实现了最低的RMSE，其中在GONU数据集上的平均RMSE为4.58±0.16，显著优于ABCD（8.37±0.03）和R-ABCD（4.88±0.03）。
• 在所有数据集上，LKM均实现了最低的平均负对数预测密度（NMLP），在GONU数据集上为1.90±0.25，而ABCD为2.21±0.03，R-ABCD为2.01±0.10。
• 在GONU这类复杂、关系丰富的数据上，LKM表现出优越性能，而R-ABCD因受其全局核共享假设的限制而失效。
• 该模型成功捕捉了如原油与美元指数之间的负相关关系等细微关系，这些关系通过共享核实现，且在视觉和语义上均可解释。
• 搜索算法（PSE）实现了对庞大核空间的高效探索，LKM在收敛速度和泛化能力上均优于基线方法。
• LKM生成了高质量、人类可读的对比报告，清晰突出了时间序列间共享与独特的核特征，显著提升了非专家用户的可解释性。