[论文解读] Bayesian Blocks: Divide and Conquer, MCMC, and Cell Coalescence Approaches

Jeffrey D. Scargle|ArXiv.org|Sep 9, 2000

Computational Drug Discovery Methods参考文献 27被引用 7

一句话总结

本文提出贝叶斯分块（Bayesian Blocks）作为一种检测密集数据中局部结构的方法——如时间序列、图像及高维过程——通过将数据空间划分为事件率恒定的单元。该方法提出三种策略：基于单 changepoint 的分治法、基于后验概率估计 changepoint 数量的最大后验估计法，以及从 Voronoi 划分出发的贝叶斯单元合并法，能高效且准确地在一维及更高维空间中识别最优分段。

ABSTRACT

Identification of local structure in intensive data -- such as time series, images, and higher dimensional processes -- is an important problem in astronomy. Since the data are typically generated by an inhomogeneous Poisson process, an appropriate model is one that partitions the data space into cells, each of which is described by a homogeneous (constant event rate) Poisson process. It is key that the sizes and locations of the cells are determined by the data, and are not predefined or even constrained to be evenly spaced. For one-dimensional time series, the method amounts to Bayesian changepoint detection. Three approaches to solving the multiple changepoint problem are sketched, based on: (1) divide and conquer with single changepoints, (2) maximum posterior for the number of changepoints, and (3) cell coalescence. The last method starts from the Voronoi tessellation of the data, and thus should easily generalize to spaces of higher dimension.

研究动机与目标

• 为解决在事件率空间变化的密集数据（如时间序列、图像及高维过程）中检测局部结构的挑战。
• 开发一种与模型无关的方法，将数据划分为事件率均匀的单元，其中单元的边界和大小由数据驱动，而非预先设定。
• 通过直接分析原始事件数据，克服分箱数据处理的局限性，从而保留时间与空间分辨率。
• 通过 Voronoi 划分等几何分割技术，将一维 changepoint 检测推广至高维空间。
• 提供一种稳健的贝叶斯框架，用于数据分段，假设最少，利用边缘化和贝叶斯因子评估模型拟合度与合并决策。

提出的方法

• 使用贝叶斯分块将密集数据建模为分段常数泊松过程，其中每个单元具有恒定的事件率，且单元的数量与位置均从数据中推断得出。
• 采用分治策略，递归识别单个 changepoint，然后利用后验概率将它们组合成完整分段。
• 应用最大后验估计（MAP）确定最优 changepoint 数量，通过比较不同分段数的模型进行选择。
• 提出贝叶斯单元合并法：从数据点的 Voronoi 划分出发，每个事件定义一个影响区域，然后根据贝叶斯因子迭代合并相邻单元。
• 使用贝叶斯因子准则：若合并后模型的对数贝叶斯因子超过原始两个独立模型的对数贝叶斯因子，则执行合并，当不再有有利合并时停止。
• 利用泊松率的边缘后验分布具有解析可计算性的特点，从而实现对局部事件率等冗余参数的精确贝叶斯推断。

实验结果

研究问题

• RQ1 如何在不依赖预分箱数据的前提下，检测密集数据中的局部结构（如时间序列中的脉冲或图像中的聚类）？
• RQ2 当边界数量与位置未知时，最优的数据空间划分方式是什么，以确保各单元内事件率恒定？
• RQ3 是否一种数据驱动的非参数方法能够优于传统分箱分析，在子分箱分辨率下检测 changepoint？
• RQ4 如何在高维数据（如二维图像或三维时间序列图像）中应用贝叶斯推断，结合 Voronoi 划分等几何分割技术？
• RQ5 何种标准可确保贝叶斯单元合并中迭代合并过程收敛至有意义且最优的分段结果？

主要发现

• 从 Voronoi 划分出发的贝叶斯单元合并法，在合成时间序列数据中成功检测出大多数 changepoint，即使真实结构复杂亦然。
• 该方法在 changepoint 检测中实现了子分箱分辨率，优于受分箱大小限制的传统分箱方法。
• 用于合并单元的贝叶斯因子准则能有效平衡模型拟合度与复杂度，在进一步合并会降低后验概率时停止。
• 该方法可自然推广至高维空间，因为 Voronoi 划分能根据维度自适应地提供数据空间的自然分区。
• 该方法对探测器死时间效应具有鲁棒性，在事件到达不完全独立时仍能保持准确性，得益于泊松过程模型坚实的统计基础。
• 初步结果表明，贝叶斯单元合并法在高维或稀疏数据场景下，显著优于分治法与最大后验方法。