[论文解读] Bayesian Change Point Analysis of Linear Models on Graphs

Xiaofei Wang, John W. Emerson|arXiv (Cornell University)|Sep 2, 2015

Statistical Methods and Inference参考文献 16被引用 16

一句话总结

本文提出了一种基于贝叶斯变点分析框架的线性模型方法，适用于一般连通图结构，采用乘积划分模型（product partition models）与马尔可夫链蒙特卡洛（MCMC）方法估计块边界与回归参数。该方法将经典变点模型推广至非序列化结构（如网格与多变量数据），在模拟与真实数据中均表现出稳健性能，且调参稳定性显著提升。

ABSTRACT

Consider observations $y_1,\dots,y_n$ on nodes of a connected graph, where the $y_i$ independently come from $N(θ_i, σ^2)$ distributions and an unknown partition divides the $n$ observations into blocks. One well-studied class of change point problems assumes the means $θ_i$ are equal for all nodes within contiguous blocks of a simple graph of sequential observations; both frequentist and Bayesian approaches have been used to estimate the $θ_i$ and the change points of the underlying partition. This paper examines a broad class of change point problems on general connected graphs in which a regression model is assumed to apply within each block of the partition of the graph. This general class also supports multivariate change point problems. We use Bayesian methods to estimate change points or block boundaries of the underlying partition. This paper presents the methodology for the general class of change point problems and develops new algorithms for implementation via Markov Chain Monte Carlo. The paper concludes with simulations and real data examples to demonstrate application of the methodology on a wide range of problems.

研究动机与目标

• 开发一种统一的贝叶斯框架，用于在任意连通图上检测线性模型中的变点，突破传统序列或网格结构数据的限制。
• 利用乘积划分分布对分块回归参数进行建模，实现对变点与分块边界的灵活推断。
• 提升调参选择的鲁棒性，特别是对精度参数α的敏感性，该问题在经典贝叶斯变点模型中常导致困难。
• 在单一一致的概率模型下，实现多变量与基于回归的变点分析。
• 通过更新版R软件包（bcp v4.0.0）实现该方法，以支持实际应用。

提出的方法

• 使用连通图结构，其中节点上的观测值通过分块内线性回归进行建模，分块由未知划分定义。
• 应用乘积划分模型（PPM）表示对划分的先验分布，包含分块特定的回归参数与共享的方差σ²。
• 对回归系数施加层次化先验：均值为0的正态分布，精度由分块大小与超参数d缩放。
• 采用MCMC抽样方法探索划分、分块参数与超参数的联合后验分布，使用吉布斯与梅特罗波利斯-黑斯廷斯更新。
• 通过共轭先验与对β和α₀的边际化，推导出关键参数（包括σ²与w₀）的闭式后验条件分布。
• 对分块包含性（τ_S）使用混合先验，允许分块具有线性模型（τ_S=1）或仅含均值（τ_S=0），并对小分块施加惩罚。

实验结果

研究问题

• RQ1 能否将线性回归的贝叶斯变点模型推广至非序列或非网格结构的数据，适用于任意连通图？
• RQ2 与现有方法相比，该方法在网格结构数据上的准确率与调参鲁棒性如何？
• RQ3 该模型在多变量变点问题中，对跨维度共享变点结构的处理能力如何？
• RQ4 在分块内引入回归结构相比简单均值变化模型，对估计性能有何提升？
• RQ5 精度参数α对模型性能的影响如何？该方法是否能降低对α选择的敏感性？

主要发现

• BCP-Graph-0算法对α的选择表现出显著鲁棒性，在各类网格结构模拟中，其稳定性与准确性均显著优于现有方法。
• 在网格结构场景的模拟中，该方法在较高α值下实现了更低的均方误差（MSE），变点检测性能更优。
• 在模拟场景中，每轮迭代的平均分块数稳定在真实分块数附近，表明模型具备良好的收敛性与划分恢复能力。
• 通过在各维度间共享相同划分结构，该模型成功处理了多变量变点问题，结果与已知理论一致。
• 在R软件包bcp（v4.0.0）中的实现，使该方法能高效应用于真实世界数据，包括环境与生物医学数据集。
• 对超参数w₀与σ²的边际化产生解析可计算的后验分布，支持高效的MCMC计算，无需数值积分。