[论文解读] Bayesian Online Changepoint Detection

Ryan P. Adams, David Mackay|ArXiv.org|Oct 19, 2007

Bayesian Methods and Mixture Models参考文献 23被引用 601

一句话总结

本文提出了一种贝叶斯在线变化点检测算法，通过递归消息传递框架精确计算当前运行长度（自上次变化点以来的时间）的后验分布。通过将变化点之间的时间间隔建模为离散指数先验，并利用新观测值的预测分布，该方法实现了实时、因果的推理，且在不同数据类型间具有模块化特性。该方法在测井数据、金融收益和煤矿灾难数据上得到验证，实现了精确的变化点检测。

ABSTRACT

Changepoints are abrupt variations in the generative parameters of a data sequence. Online detection of changepoints is useful in modelling and prediction of time series in application areas such as finance, biometrics, and robotics. While frequentist methods have yielded online filtering and prediction techniques, most Bayesian papers have focused on the retrospective segmentation problem. Here we examine the case where the model parameters before and after the changepoint are independent and we derive an online algorithm for exact inference of the most recent changepoint. We compute the probability distribution of the length of the current ``run,'' or time since the last changepoint, using a simple message-passing algorithm. Our implementation is highly modular so that the algorithm may be applied to a variety of types of data. We illustrate this modularity by demonstrating the algorithm on three different real-world data sets.

研究动机与目标

• 开发一种因果的、在线的贝叶斯推断方法，用于变化点检测，支持实时预测。
• 通过递归消息传递实现对当前运行长度后验分布的精确计算。
• 提供一种模块化框架，使变化点算法可与不同数据类型的似然模型解耦。
• 在具有不同生成模型的多样化真实时间序列上展示该方法的有效性。
• 通过提供一个原则性的在线预测框架，弥合离线贝叶斯分割与在线滤波之间的差距。

提出的方法

• 该算法使用递归消息传递方案，基于观测数据 $ \boldsymbol{x}_{1:t} $，计算运行长度 $ r_t $（自上次变化点以来的时间）的后验分布。
• 通过危险函数 $ H(\tau) $ 建模运行长度转移的先验，该函数定义了在给定前一时刻运行长度 $ r_{t-1} $ 的条件下，时间 $ t $ 发生变化点的概率。
• 使用似然模型（如高斯分布、泊松分布）对当前运行期内的数据进行条件化，计算预测分布 $ P(x_{t+1} \mid r_t, \boldsymbol{x}_t^{(r)}) $。
• 通过转移概率 $ P(r_t \mid r_{t-1}) $ 和似然 $ P(x_t \mid r_{t-1}, \boldsymbol{x}_t^{(r)}) $，递归更新联合分布 $ P(r_t, \boldsymbol{x}_{1:t}) $。
• 该方法假设每个运行期内参数独立同分布，并对变化点之间的时间间隔使用离散指数先验 $ P_{\sf{gap}}(g) $。
• 该框架具有模块化特性：变化点推理引擎与似然模型解耦，支持灵活插件式集成不同数据类型。

实验结果

研究问题

• RQ1 如何使贝叶斯变化点检测实现因果性与在线处理，而非仅事后分析？
• RQ2 能否在在线设置中高效实现对当前运行长度的精确后验推断？
• RQ3 如何使算法具备模块化设计，以支持多种数据模型（如高斯分布、泊松分布）而无需重新实现？
• RQ4 该方法在检测具有不同统计特性的现实世界时间序列中的突变时表现如何？
• RQ5 对变化点间隔选择不同先验（如几何分布）如何影响检测的敏感性与准确性？

主要发现

• 该算法成功检测到测井数据中均值的突变，运行长度后验概率下降与视觉识别的变化点高度一致。
• 在道琼斯指数日收益数据（1972–1975）中，该方法识别出重大经济事件（如OPEC石油禁运、尼克松辞职）期间波动性上升，后验运行长度概率在相关时间点显著下降。
• 在煤矿灾难数据中，后验运行长度分布显示1887年后事故率发生显著变化，与《煤矿法规》实施时间一致。
• 在检测到变化点后，预测方差立即上升，反映出由于新运行期内数据稀缺，对未来预测的置信度降低。
• 该方法通过消息传递实现精确推断，无需蒙特卡洛采样，确保计算效率与数值稳定性。
• 模块化设计使得同一推理引擎可适用于高斯分布、方差未知的高斯分布以及泊松分布的似然模型，展现出广泛适用性。