[论文解读] Optimum Search Schemes for Approximate String Matching Using Bidirectional FM-Index

Kiavash Kianfar, Christopher Pockrandt+3 more|arXiv (Cornell University)|Nov 6, 2017

Algorithms and Data Compression被引用 5

一句话总结

本文提出一种混合整数规划（MIP）框架，用于计算双向FM-index中近似字符串匹配的最优搜索方案，显著加速基于汉明距离的读段比对。该方法相比标准回溯法将搜索时间减少高达35倍，并通过结合基于索引的搜索与动态规划验证，实现与顶尖比对工具相当的性能。

ABSTRACT

Finding approximate occurrences of a pattern in a text using a full-text index is a central problem in bioinformatics and has been extensively researched. Bidirectional indices have opened new possibilities in this regard allowing the search to start from anywhere within the pattern and extend in both directions. In particular, use of search schemes (partitioning the pattern and searching the pieces in certain orders with given bounds on errors) can yield significant speed-ups. However, finding optimal search schemes is a difficult combinatorial optimization problem. Here for the first time, we propose a mixed integer program (MIP) capable to solve this optimization problem for Hamming distance with given number of pieces. Our experiments show that the optimal search schemes found by our MIP significantly improve the performance of search in bidirectional FM-index upon previous ad-hoc solutions. For example, approximate matching of 101-bp Illumina reads (with two errors) becomes 35 times faster than standard backtracking. Moreover, despite being performed purely in the index, the running time of search using our optimal schemes (for up to two errors) is comparable to the best state-of-the-art aligners, which benefit from combining search in index with in-text verification using dynamic programming. As a result, we anticipate a full-fledged aligner that employs an intelligent combination of search in the bidirectional FM-index using our optimal search schemes and in-text verification using dynamic programming outperforms today's best aligners. The development of such an aligner, called FAMOUS (Fast Approximate string Matching using OptimUm search Schemes), is ongoing as our future work.

研究动机与目标

• 解决当前双向FM-index在近似字符串匹配中缺乏系统性搜索方案优化的问题。
• 将汉明距离下的最优搜索方案问题建模为混合整数规划（MIP），以获得可证明最优或近似最优的解。
• 通过智能划分和排序读段片段，最小化回溯次数，实现生物信息学中更快的近似字符串匹配。
• 证明MIP生成的最优方案在理论时间复杂度和实际运行时间上均优于手动设计或启发式方法。
• 为下一代比对工具FAMOUS奠定基础，该工具结合最优索引搜索与文本内动态规划验证。

提出的方法

• 将搜索方案优化问题建模为混合整数规划（MIP），其中变量编码片段排列、搜索顺序及错误分布。
• 通过约束排列方式，确保在双向FM-index中满足连通性条件，即从任意起始片段可连续扩展。
• 使用MIP求解器寻找最优或近似最优的搜索方案，确保所有可能的错配模式恰好覆盖一次，从而最小化冗余计算。
• 针对将读段等分为P个片段、每种方案执行S次搜索、总共允许K次错配的情况进行优化。
• 利用MIP的早期收敛特性，通过在较小的R值上求解作为代理，快速获得高质量解，即使在大规模输入下亦可实现。
• 通过对比真实Illumina读段在标准回溯法与最先进比对工具下的搜索性能（以tries边数和运行时间衡量），验证MIP的有效性。

实验结果

研究问题

• RQ1 能否构建一个混合整数规划模型，以可证明最优的方式求解汉明距离下近似字符串匹配的最优搜索方案问题？
• RQ2 MIP解的质量与收敛速度如何随K、R、P、S等参数的增加而变化，特别是在大段生物序列上的表现如何？
• RQ3 最优搜索方案在多大程度上对读段长度R不敏感？该性质能否从理论上加以解释？
• RQ4 MIP模型能否扩展至支持可变片段数量、不等长片段或无界搜索次数的优化？
• RQ5 尽管MIP方案是为汉明距离设计，其在编辑距离上的表现如何？

主要发现

• 所提出的MIP模型能够在合理时间内计算出汉明距离下最优或近似最优的搜索方案，即使在大输入参数下亦表现良好。
• 对于101 bp的Illumina读段、含两个错配的情况，使用最优方案的近似字符串匹配速度相比标准回溯法最高提升35倍。
• 当K=1和K=2时，使用最优方案在双向FM-index中的搜索性能与顶尖比对工具相当，后者结合了索引搜索与文本内动态规划验证。
• MIP生成的方案不仅在汉明距离下表现优异，对编辑距离也展现出强劲性能，表明其在不同错误模型间具有良好的可迁移性。
• MIP表现出强大的早期收敛能力，能快速获得高质量解，通过在较小R值上求解作为代理，使该方法在大规模问题中仍具实用性。
• 结果表明，结合MIP生成的最优索引搜索与动态规划文本验证的完整比对工具（如正在进行的FAMOUS项目）有望超越当前最先进的比对工具。