[论文解读] Change-point Detection and Segmentation of Discrete Data using Bayesian Context Trees

Valentinian Lungu, Ioannis Papageorgiou+1 more|arXiv (Cornell University)|Mar 8, 2022

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出了一种基于贝叶斯上下文树（BCT）的贝叶斯框架，用于检测离散时间序列中的变化点并进行分割，通过上下文树加权（CTW）算法实现先验预测似然的精确计算。该方法采用马尔可夫链蒙特卡洛（MCMC）采样直接推断变化点的数量和位置，提供准确的估计并量化不确定性，在模拟数据和真实世界数据（包括DNA和气候时间序列）上的表现优于现有最先进方法。

ABSTRACT

A new Bayesian modelling framework is introduced for piece-wise homogeneous variable-memory Markov chains, along with a collection of effective algorithmic tools for change-point detection and segmentation of discrete time series. Building on the recently introduced Bayesian Context Trees (BCT) framework, the distributions of different segments in a discrete time series are described as variable-memory Markov chains. Inference for the presence and location of change-points is then performed via Markov chain Monte Carlo sampling. The key observation that facilitates effective sampling is that, using one of the BCT algorithms, the prior predictive likelihood of the data can be computed exactly, integrating out all the models and parameters in each segment. This makes it possible to sample directly from the posterior distribution of the number and location of the change-points, leading to accurate estimates and providing a natural quantitative measure of uncertainty in the results. Estimates of the actual model in each segment can also be obtained, at essentially no additional computational cost. Results on both simulated and real-world data indicate that the proposed methodology performs better than or as well as state-of-the-art techniques.

研究动机与目标

• 开发一种基于分段平稳可变记忆马尔可夫链的系统性贝叶斯框架，用于建模离散时间序列。
• 通过在每个片段中对模型和参数进行积分，利用CTW算法实现对变化点的精确推断。
• 提供一种稳健的方法，用于估计变化点的数量和位置，并量化不确定性。
• 在模拟和真实世界数据的变换点检测与分割任务中，优于现有最先进方法。
• 将BCT的适用性扩展至具有非均匀记忆结构的复杂异质时间序列。

提出的方法

• 构建一个层次化贝叶斯模型，对变化点数量采用均匀先验，并对位置采用顺序统计先验，以防止过拟合。
• 每个片段使用贝叶斯上下文树（BCT）框架建模为可变记忆马尔可夫链，从而灵活且简洁地表示高阶依赖关系。
• 通过CTW算法的一种变体，精确且高效地计算每个片段的先验预测似然，实现对所有模型和参数的积分。
• 设计一种定制的MCMC采样器，结合全局跳跃和局部随机游走移动，以有效探索状态空间，并从变化点数量和位置的联合后验分布中抽样。
• MCMC算法支持直接从后部分布中抽样，不仅提供点估计，还提供变化点位置和片段模型的完整不确定性量化。
• 该方法已实现于公开的R包BCT中，支持可重现性与广泛应用。

实验结果

研究问题

• RQ1 基于可变记忆马尔可夫链的贝叶斯框架是否能相比现有方法提升离散时间序列中的变化点检测性能？
• RQ2 通过CTW算法实现先验预测似然的精确计算，是否能实现高效且准确的MCMC采样用于变化点推断？
• RQ3 该方法在具有复杂非i.i.d.结构的真实世界数据（如DNA序列和气候时间序列）上的表现如何？
• RQ4 该方法在多大程度上能为变化点位置和片段模型提供可靠的不确定性量化？
• RQ5 该框架能否扩展以处理大规模或连续字母表，特别是在自然语言处理场景中？

主要发现

• 该方法在模拟数据和真实世界数据（包括DNA和厄尔尼诺时间序列）上的表现至少与现有最先进技术相当或更优。
• 对于厄尔尼诺数据集，MCMC后验表明最可能的变化点数量为两个，MAP估计的位置分别为1802年和1991年，与已知的历史和气候事件一致。
• 厄尔尼诺事件的频率在各段中呈上升趋势：从14%增至35%再增至54%，反映出与人为变暖一致的可检测趋势。
• 各片段的模型表现出可变的记忆长度（例如深度为5、1、2、3和0），展示了BCT框架在捕捉上下文相关依赖关系方面的灵活性。
• 该方法在无需额外计算成本的情况下，提供了变化点位置和片段模型的完整后部分布，实现了稳健的不确定性量化。
• 基于BCT的方法在小字母表场景下表现尤为出色，在DNA分割任务中性能强劲，凸显其在基因组数据分析中的适用性。