[论文解读] Generalized Functional Pruning Optimal Partitioning (GFPOP) for Constrained Changepoint Detection in Genomic Data

Toby Dylan Hocking, Guillem Rigaill+2 more|arXiv (Cornell University)|Sep 29, 2018

Gene expression and cancer classification被引用 4

一句话总结

该论文提出GFPOP，一种用于基因组数据中约束型变点检测的新算法，在基于惩罚的模型下实现最优分割的$O(N\log N)$时间复杂度。此外，该研究还提出一种序列搜索方法，可在$O(N(\log N)^2)$时间内计算出具有$O(\sqrt{N})$个峰值的最优模型，从而实现大规模基因组数据集（含数千万个点）中高效、可扩展的峰值检测。

ABSTRACT

We describe a new algorithm and R package for peak detection in genomic data sets using constrained changepoint algorithms. These detect changes from background to peak regions by imposing the constraint that the mean should alternately increase then decrease. An existing algorithm for this problem exists, and gives state-of-the-art accuracy results, but it is computationally expensive when the number of changes is large. We propose the GFPOP algorithm that jointly estimates the number of peaks and their locations by minimizing a cost function which consists of a data fitting term and a penalty for each changepoint. Empirically this algorithm has a cost that is $O(N \log(N))$ for analysing data of length $N$. We also propose a sequential search algorithm that finds the best solution with $K$ segments in $O(\log(K)N \log(N))$ time, which is much faster than the previous $O(KN \log(N))$ algorithm. We show that our disk-based implementation in the PeakSegDisk R package can be used to quickly compute constrained optimal models with many changepoints, which are needed to analyze typical genomic data sets that have tens of millions of observations.

研究动机与目标

• 开发一种可扩展、最优的算法，用于检测具有交替上升和下降均值的基因组数据中的峰值。
• 降低具有大量变点的最优分割的计算成本，尤其针对$N \approx 10^7$个点的大规模基因组数据集。
• 通过用更快的序列搜索替代昂贵的$O(N\sqrt{N}\log N)$方法，实现在$O(\sqrt{N})$个峰值下最优模型的实用计算。
• 提供基于磁盘的实现，保持高性能和低内存使用，使标准硬件上实现最优峰值检测成为可能。

提出的方法

• GFPOP使用函数剪枝法将每段的候选变点数从$O(N)$减少到$O(\log N)$，从而实现单个惩罚值下$O(N\log N)$的时间复杂度。
• 该算法将分割问题表述为在泊松模型下最小化惩罚负对数似然，损失函数为$\ell(m,z) = m - z\log m$。
• 算法采用动态规划，并以函数形式表示最优代价，从而在保持最优性的同时剪除次优的段边界。
• 提出一种序列搜索算法，通过调用GFPOP $O(\log N)$次来寻找最多$P$个峰值的最优模型，将所需调用次数从$O(P)$减少到$O(\log P)$。
• 实现采用基于磁盘的存储方式以管理大规模数据集，实证性能显示仅比内存方法慢一个常数因子。
• 该方法在PeakSegDisk R包中实现，支持内存和磁盘计算，具备良好的可扩展性。

实验结果

研究问题

• RQ1 能否在保持基因组数据中峰值检测最优性的同时，使约束型变点算法实现$O(N\log N)$的时间复杂度？
• RQ2 是否可能在$O(N(\log N)^2)$时间内计算出具有$O(\sqrt{N})$个峰值的最优模型，显著快于现有的$O(N\sqrt{N}\log N)$方法？
• RQ3 基于磁盘的存储方式对大规模基因组数据中最优变点检测的性能和内存使用有何影响？
• RQ4 序列搜索策略能否将寻找具有$P$个峰值的最佳模型所需的GFPOP调用次数从$O(P)$减少到$O(\log P)$？

主要发现

• GFPOP在单个惩罚值下以$O(N\log N)$时间复杂度和$O(N\log N)$空间复杂度完成最优分割，且仅需$O(\log N)$内存。
• 当$N = 10^7$时，序列搜索算法仅需调用GFPOP 10至15次即可计算出具有$O(\sqrt{N})$个峰值的零误差模型，而Segment Neighborhood方法需2828次DP迭代。
• 序列搜索的运行时间为$O(N\log(N)\log P)$，当$P > 5$个峰值时，显著快于Segment Neighborhood方法的$O(N\sqrt{N}\log N)$时间。
• 实证结果表明，基于磁盘的GFPOP仅比内存计算慢一个常数因子，使$N = 10^7$个数据点的处理可在数小时内完成，而非数周。
• 当$P = O(\sqrt{N})$时，该方法在基准数据上实现了零标签错误，证实这是典型基因组数据中合理且最优的峰值数量。
• PeakSegDisk包实现了对大量峰值的最优模型的实用计算，将存储需求从220TB减少到100GB以下，计算时间从17周缩短至一周以内。