[论文解读] Bayesian Context Trees: Modelling and exact inference for discrete time series

Ioannis Kontoyiannis, Lambros Mertzanis+3 more|arXiv (Cornell University)|Jul 29, 2020

Bayesian Methods and Mixture Models被引用 7

一句话总结

本文提出了一种贝叶斯上下文树（BCT）框架，用于在可变记忆马尔可夫链中实现精确推断，通过线性时间的确定性算法，实现先验预测似然、后验模型概率和top-k模型识别的高效计算。该方法在预测精度上优于VLMC、MTD、SMC和CTF，在真实世界数据上log-loss最高降低4.8%，在金融、遗传学和动物交流等多个数据集上，BCT始终排名第一。

ABSTRACT

We develop a new Bayesian modelling framework for the class of higher-order, variable-memory Markov chains, and introduce an associated collection of methodological tools for exact inference with discrete time series. We show that a version of the context tree weighting algorithm can compute the prior predictive likelihood exactly (averaged over both models and parameters), and two related algorithms are introduced, which identify the a posteriori most likely models and compute their exact posterior probabilities. All three algorithms are deterministic and have linear-time complexity. A family of variable-dimension Markov chain Monte Carlo samplers is also provided, facilitating further exploration of the posterior. The performance of the proposed methods in model selection, Markov order estimation and prediction is illustrated through simulation experiments and real-world applications with data from finance, genetics, neuroscience, and animal communication. The associated algorithms are implemented in the R package BCT.

研究动机与目标

• 解决全马尔可夫链和传统可变记忆模型在偏差-方差权衡与建模灵活性之间难以平衡的局限性。
• 克服基于最大似然的方法（如VLMC和MTD）在计算和统计上的低效性，这些方法可能为已观测符号分配零概率。
• 开发一个完全贝叶斯框架，实现对可变记忆马尔可夫链的后验概率和先验预测似然的精确计算。
• 提供高效的线性时间算法，用于模型选择、预测和后验探索，适用于大规模或序列数据。
• 通过精确的贝叶斯推断和变维数MCMC采样器，实现不确定性量化和模型平均。

提出的方法

• 提出一种贝叶斯上下文树（BCT）模型，将上下文树结构和转移概率视为随机变量，并采用共轭狄利克雷先验。
• 引入上下文树加权（CTW）算法，通过在所有可能的上下文树及其参数上进行平均，精确计算先验预测似然。
• 开发BCT算法，以识别后验最可能的上下文树并精确计算其后验概率。
• 设计k-BCT算法，高效返回最可能的top-k上下文树，实现稳健的模型选择。
• 实现变维数马尔可夫链蒙特卡洛（MCMC）采样器，用于探索上下文树和参数的后验分布。
• 通过精确后验计算和基于模型平均的预测分布，支持序列预测和在线更新。

实验结果

研究问题

• RQ1 能否在未知上下文树结构的可变记忆马尔可夫链空间中，高效地执行精确贝叶斯推断？
• RQ2 所提出的贝叶斯上下文树框架与现有方法（如VLMC、MTD、SMC和CTF）相比，在预测准确性和鲁棒性方面表现如何？
• RQ3 与单一最优模型的点估计相比，通过后验计算进行模型平均在多大程度上提升了预测性能？
• RQ4 能否为该类模型开发出用于先验预测似然和后验模型概率的线性时间精确算法？
• RQ5 该框架在具有复杂时间依赖性的现实应用中（如神经科学、金融和动物交流）表现如何？

主要发现

• BCT方法在所有测试数据集中均实现了最低的log-loss，相较于第二好的CTF，其在测试数据最后10%的区间上log-loss最高降低4.8%。
• 在Pewee鸟鸣数据集中，BCT的log-loss比SMC低13.2%，比CTF低1.2%；而VLMC和MTD因预测概率为零导致log-loss无限大。
• BCT算法精确且高效地计算了先验预测似然，具有线性时间复杂度，支持可扩展的推断。
• k-BCT算法成功识别出最可能的上下文树，性能接近完整BCT方法，但计算成本更低。
• 变维数MCMC采样器实现了准确的后验探索，支持不确定性量化和稳健的模型选择。
• 贝叶斯框架显著优于依赖单一MAP模型的SMC，凸显了BCT中模型平均的优势。