[论文解读] FAMOUS: Fast Approximate string Matching using OptimUm search Schemes.

Kiavash Kianfar, Christopher Pockrandt+3 more|arXiv (Cornell University)|Nov 6, 2017

Algorithms and Data Compression被引用 1

一句话总结

该论文提出FAMOUS，一种基于混合整数规划（MIP）的新方法，用于在双向FM-index中计算近似字符串匹配的最优搜索方案，显著加速基于汉明距离的模式搜索。通过优化模式分割和误差边界，FAMOUS在标准回溯法基础上实现最高35倍的性能提升，并达到顶尖比对工具的性能水平，实现了更快的仅索引近似匹配，且具备构建更优完整比对工具的潜力。

ABSTRACT

Finding approximate occurrences of a pattern in a text using a full-text index is a central problem in bioinformatics and has been extensively researched. Bidirectional indices have opened new possibilities in this regard allowing the search to start from anywhere within the pattern and extend in both directions. In particular, use of search schemes (partitioning the pattern and searching the pieces in certain orders with given bounds on errors) can yield significant speed-ups. However, finding optimal search schemes is a difficult combinatorial optimization problem. Here for the first time, we propose a mixed integer program (MIP) capable to solve this optimization problem for Hamming distance with given number of pieces. Our experiments show that the optimal search schemes found by our MIP significantly improve the performance of search in bidirectional FM-index upon previous ad-hoc solutions. For example, approximate matching of 101-bp Illumina reads (with two errors) becomes 35 times faster than standard backtracking. Moreover, despite being performed purely in the index, the running time of search using our optimal schemes (for up to two errors) is comparable to the best state-of-the-art aligners, which benefit from combining search in index with in-text verification using dynamic programming. As a result, we anticipate a full-fledged aligner that employs an intelligent combination of search in the bidirectional FM-index using our optimal search schemes and in-text verification using dynamic programming outperforms today's best aligners. The development of such an aligner, called FAMOUS (Fast Approximate string Matching using OptimUm search Schemes), is ongoing as our future work.

研究动机与目标

• 为解决在双向FM-index中寻找近似字符串匹配最优搜索方案的挑战，该挑战对高效生物序列分析至关重要。
• 将搜索方案优化问题建模为混合整数规划（MIP），针对固定数量模式片段的汉明距离。
• 通过提供模式分割与误差分布的可证明最优解，消除对启发式或经验性搜索方案的依赖。
• 实现更快的仅索引近似匹配，其性能可媲美或超越使用动态规划进行文本内验证的最先进比对工具。
• 为下一代智能结合最优索引搜索与文本内动态规划验证的比对工具奠定基础。

提出的方法

• 将搜索方案优化问题建模为混合整数规划（MIP），以确定模式在固定误差下最优分割为片段及其检索顺序。
• 将模式建模为子串（片段）序列，并定义约束条件以确保覆盖所有给定汉明距离内的可能近似匹配。
• 利用MIP最小化总搜索时间，通过优化片段检索顺序及误差在各片段间的分布。
• 将计算出的最优搜索方案集成到双向FM-index中，加速近似字符串匹配，无需文本内验证。
• 使用真实世界Illumina测序数据（如101 bp、含两个错误）评估最优方案的性能，并与标准回溯法和最先进比对工具进行比较。
• 设计一个面向未来比对工具开发的框架，将最优索引搜索与动态规划结合用于文本内验证。

实验结果

研究问题

• RQ1 能否有效构建混合整数规划模型，以求解汉明距离下近似字符串匹配最优搜索方案的组合优化问题？
• RQ2 与标准回溯法相比，使用MIP优化的搜索方案在双向FM-index中能带来多大性能提升？
• RQ3 仅使用最优方案的索引搜索在多大程度上可达到或超越使用动态规划进行文本内验证的最先进比对工具的速度与精度？
• RQ4 最优搜索方案能否高效计算并应用于真实测序数据（如101 bp Illumina读段，最多含两个错误）？
• RQ5 将最优索引搜索与动态规划验证相结合，构建下一代更优比对工具的潜力如何？

主要发现

• 基于MIP的方法成功计算出在汉明距离下近似字符串匹配的最优搜索方案，解决了此前难以处理的组合优化问题。
• 使用FAMOUS的最优方案，101 bp Illumina读段在含两个错误时的近似匹配速度相比标准回溯法提升35倍。
• 尽管仅依赖索引搜索，FAMOUS最优方案的搜索运行时间与最佳最先进比对工具相当。
• 性能提升表明，最优搜索方案可在无需文本内动态规划验证的情况下实现比对工具级效率。
• 结果表明，未来结合FAMOUS最优索引搜索与文本内动态规划验证的比对工具，有望超越当前最先进的比对工具。
• 该方法为搜索方案生成提供了可扩展且可证明最优的解决方案，显著提升了生物信息学中近似字符串匹配的速度与效率。