[论文解读] A log-linear time algorithm for constrained changepoint detection

Toby Dylan Hocking, Guillem Rigaill+2 more|arXiv (Cornell University)|Mar 9, 2017

Statistical Methods and Inference参考文献 17被引用 15

一句话总结

本文提出了一种广义函数剪枝算法（GPDPA），用于约束型变点检测，通过将Rigaill的函数剪枝方法扩展至相邻段均值之间的仿射不等式约束，实现了在$O(Kn\log n)$的对数线性时间内的最优解。该方法在ChIP-seq数据中实现了快速且精确的峰检测，具有上下变化约束，其速度与精度均优于现有最先进方法，同时保持了最优性。

ABSTRACT

Changepoint detection is a central problem in time series and genomic data. For some applications, it is natural to impose constraints on the directions of changes. One example is ChIP-seq data, for which adding an up-down constraint improves peak detection accuracy, but makes the optimization problem more complicated. We show how a recently proposed functional pruning technique can be adapted to solve such constrained changepoint detection problems. This leads to a new algorithm which can solve problems with arbitrary affine constraints on adjacent segment means, and which has empirical time complexity that is log-linear in the amount of data. This algorithm achieves state-of-the-art accuracy in a benchmark of several genomic data sets, and is orders of magnitude faster than existing algorithms that have similar accuracy. Our implementation is available as the PeakSegPDPA function in the coseg R package, https://github.com/tdhock/coseg

研究动机与目标

• 为基因组和时间序列数据中快速、最优的变点检测提供解决方案，尤其在仿射约束条件下。
• 克服现有启发式算法（如Constrained DPA）的局限性，后者为次优解且时间复杂度为二次方。
• 将函数剪枝技术推广至处理相邻段均值之间的任意仿射约束。
• 在ChIP-seq数据的峰检测中，实现速度与精度的最先进性能。
• 通过coseg R包中的PeakSegPDPA函数，提供可复现且开源的实现。

提出的方法

• 该方法采用广义函数剪枝方法（GPDPA），用于求解具有相邻段均值仿射不等式约束的约束型变点检测问题。
• 将问题表述为在状态空间上的动态规划优化，其中状态转移由约束函数$g_c$控制。
• 动态规划更新规则递归计算最优代价$C_{s,t}(u)$，结合数据似然与转移代价及惩罚项。
• 关键创新在于使用约束代价函数$\text{ConstrainedCost}(C_{\underline{v},t-1})$，以强制实施如非递减或上下变化等模式。
• 算法将代价函数保持为分段线性函数，从而实现对非最优路径的高效剪枝。
• 通过回溯法进行解码，以恢复最优段均值、状态及变点位置。

实验结果

研究问题

• RQ1 函数剪枝能否被推广以处理变点检测中相邻段均值之间的任意仿射不等式约束？
• RQ2 所提出的GPDPA算法在该类约束下是否能实现$O(Kn\log n)$的平均时间复杂度并保证最优解？
• RQ3 在真实ChIP-seq数据上，GPDPA的性能在准确率与速度方面与现有方法相比如何？
• RQ4 与二次时间复杂度求解器相比，该算法能否在显著降低运行时间的同时保持高准确率？
• RQ5 函数剪枝技术是否对复杂约束（如ChIP-seq峰检测中的上下变化模式）有效？

主要发现

• 所提出的GPDPA算法实现了$O(Kn\log n)$的平均时间复杂度，与现有最佳剪枝算法相当，但保证了最优性。
• 在ChIP-seq数据上，GPDPA在峰检测中实现了最先进水平的准确率，优于现有方法，且速度相当或更优。
• 实证测试表明，每状态平均存储的区间数为$\log n$，支持$O(Kn\log n)$复杂度的声明。
• 与现有最优求解器相比，该算法在上下约束的变点检测中快了数个数量级，同时保持了最优解的质量。
• 该实现作为coseg R包中的PeakSegPDPA函数提供，支持可复现研究与广泛采用。
• 该方法成功将函数剪枝推广至包括非递减、非递增及上下变化模式在内的广泛仿射约束类别。