[论文解读] Faster exact Markovian probability functions for motif occurrences: a DFA-only approach

Paolo Ribeca, Emanuele Raineri|arXiv (Cornell University)|Jan 24, 2008

Algorithms and Data Compression参考文献 11被引用 6

一句话总结

本文提出了一种新颖的、精确的算法，仅使用确定性有限自动机（DFAs）计算生物序列中基序出现的马尔可夫概率分布，无需依赖有限马尔可夫链嵌入（FMCI）。该方法在性能上显著优于以往的精确方法——在许多情况下甚至超过近似方法——使得对人类X染色体和酿酒酵母转录因子结合位点等大型基因组的精确分析成为可能。

ABSTRACT

Background: The computation of the statistical properties of motif occurrences has an obviously relevant practical application: for example, patterns that are significantly over- or under-represented in the genome are interesting candidates for biological roles. However, the problem is computationally hard; as a result, virtually all the existing pipelines use fast but approximate scoring functions, in spite of the fact that they have been shown to systematically produce incorrect results. A few interesting exact approaches are known, but they are very slow and hence not practical in the case of realistic sequences. Results: We give an exact solution, solely based on deterministic finite-state automata (DFAs), to the problem of finding not only the p-value, but the whole relevant part of the Markovian probability distribution function of a motif in a biological sequence. In particular, the time complexity of the algorithm in the most interesting regimes is far better than that of Nuel (2006), which was the fastest similar exact algorithm known to date; in many cases, even approximate methods are outperformed. Conclusions: DFAs are a standard tool of computer science for the study of patterns, but so far they have been sparingly used in the study of biological motifs. Previous works do propose algorithms involving automata, but there they are used respectively as a first step to build a Finite Markov Chain Imbedding (FMCI), or to write a generating function: whereas we only rely on the concept of DFA to perform the calculations. This innovative approach can realistically be used for exact statistical studies of very long genomes and protein sequences, as we illustrate with some examples on the scale of the human genome.

研究动机与目标

• 开发一种计算高效、精确的方法，用于计算生物序列中基序出现的完整马尔可夫概率分布。
• 克服现有精确方法的局限性，这些方法对于实际基因组规模的分析速度过慢。
• 通过仅使用DFA作为核心计算引擎，消除对FMCI或生成函数的依赖。
• 为已知在关键区域系统性失效的近似方法提供可靠的基准。
• 实现对大型基因组（如人类X染色体和酿酒酵母）中基序过度或不足富集的精确统计分析。

提出的方法

• 构建一个确定性有限自动机（DFA），用于识别并统计给定基序在序列中的出现次数。
• 利用DFA的状态转移来建模在m阶马尔可夫模型下基序出现的马尔可夫过程。
• 通过在DFA状态上应用动态规划，计算基序计数的精确概率分布。
• 通过直接从DFA结构推导转移矩阵，避免FMCI，消除了中间的马尔可夫链嵌入步骤。
• 通过高效的状体枚举和内存管理优化算法，尤其适用于低阶马尔可夫模型（m ≤ 3）。
• 将该方法应用于计算各种基序类型和基因组尺度下的p值、z值和完整分布函数。

实验结果

研究问题

• RQ1 纯DFA方法是否能够比现有精确方法更快地计算基序出现的精确马尔可夫概率分布？
• RQ2 在准确性和速度方面，DFA-only方法是否优于大型偏差法和高斯近似等近似方法？
• RQ3 是否可行使用该方法对大型基因组（如人类X染色体）中的基序出现进行精确统计分析？
• RQ4 DFA-only方法的性能如何随基序长度、字母表大小和马尔可夫模型阶数变化？
• RQ5 在哪些参数范围内，该方法的性能超过或匹配近似算法？

主要发现

• DFA-only方法能够在真实基因组规模下计算基序出现的精确概率分布，例如人类X染色体（L ~ 1.5×10⁸）和酿酒酵母（L ~ 1.2×10⁷），而这些在以往使用FMCI的精确方法中是不可行的。
• 对于m ≤ 2的基序，该方法在速度和准确性方面始终优于大型偏差法和高斯FMCI近似方法，如表2和图7所示。
• 该算法在约5小时内完成对人类X染色体中所有320个三联和四联基序在m=2条件下的分析，证明了其在全基因组分析中的可行性。
• 通过在HIV和枯草芽孢杆菌基因组上的基准测试，确认该方法在许多情况下比近似高斯FMCI模型更快，如表2所示。
• 该方法在所有测试模型中保持精确且可靠，为评估近似方法提供了稳健的基准，尤其是在近似方法失效的高z值区域。
• 当m ≥ 4时，由于内存和计算成本过高而变得不切实际，这些成本与s = a^m + ℓ - 1 - m成正比，其中s为DFA状态数。