[论文解读] Hierarchical Bayesian Mixture Models for Time Series Using Context Trees as State Space Partitions

Ioannis Papageorgiou, Ioannis Kontoyiannis|arXiv (Cornell University)|Jun 6, 2021

Bayesian Methods and Mixture Models参考文献 33被引用 4

一句话总结

该论文提出了一种用于实值时间序列的分层贝叶斯混合模型，通过利用最近观测值导出的上下文树对状态空间进行划分，并为每个划分区域分配不同的自回归（AR）模型。该方法实现了精确的贝叶斯推断，包括带有精确后验概率的MAP模型选择，在模拟数据和真实数据上的模型选择与预测性能均优于当前最先进方法。

ABSTRACT

A general Bayesian framework is introduced for mixture modelling and inference with real-valued time series. At the top level, the state space is partitioned via the choice of a discrete context tree, so that the resulting partition depends on the values of some of the most recent samples. At the bottom level, a different model is associated with each region of the partition. This defines a very rich and flexible class of mixture models, for which we provide algorithms that allow for efficient, exact Bayesian inference. In particular, we show that the maximum a posteriori probability (MAP) model (including the relevant MAP context tree partition) can be precisely identified, along with its exact posterior probability. The utility of this general framework is illustrated in detail when a different autoregressive (AR) model is used in each state-space region, resulting in a mixture-of-AR model class. The performance of the associated algorithmic tools is demonstrated in the problems of model selection and forecasting on both simulated and real-world data, where they are found to provide results as good or better than state-of-the-art methods.

研究动机与目标

• 开发一种灵活且通用的贝叶斯框架，用于建模具有非线性动态特性的实值时间序列。
• 解决在时间序列分析中为混合模型选择合适状态空间划分的挑战。
• 在一类丰富的混合模型中，实现精确的贝叶斯推断——特别是MAP模型选择与后验概率计算。
• 通过自回归分量，展示该框架在时间序列预测与模型选择中的有效性。

提出的方法

• 使用离散上下文树对状态空间进行划分，其中每个节点代表由最近观测值后缀定义的一个区域。
• 为划分的每个区域分配不同的自回归（AR）模型，从而构成混合AR模型。
• 在上下文树结构和AR模型参数上施加分层贝叶斯先验，以实现一致的推断。
• 通过动态规划和树结构上的边际似然递归计算，实现精确的贝叶斯推断。
• 通过在可能的树结构空间中进行高效搜索，识别最大后验概率（MAP）上下文树及其相关模型参数。
• 精确计算MAP模型的后验概率，从而实现严格模型比较与选择。

实验结果

研究问题

• RQ1 基于上下文树的状态空间划分的分层贝叶斯框架，能否在时间序列混合模型中实现精确的贝叶斯推断？
• RQ2 所提出的混合AR模型在时间序列预测与模型选择方面的性能，与当前最先进方法相比如何？
• RQ3 在此框架中，能否精确且高效地识别MAP上下文树及其相关模型参数？
• RQ4 上下文树结构对实值时间序列模型的灵活性与预测准确性有何影响？

主要发现

• 所提出的框架实现了精确的贝叶斯推断，包括对最大后验概率（MAP）模型及其后验概率的精确计算。
• 通过高效算法可精确识别MAP上下文树及其相关AR模型，避免了近似方法的使用。
• 在模拟数据和真实时间序列上，该方法的预测与模型选择性能至少与当前最先进方法相当，且通常更优。
• 使用上下文树作为状态空间划分，使模型能够通过局部AR动态捕捉时间序列中的复杂非线性依赖关系。