[論文レビュー] Optimum Search Schemes for Approximate String Matching Using Bidirectional FM-Index

Kiavash Kianfar, Christopher Pockrandt+3 more|arXiv (Cornell University)|Nov 6, 2017

Algorithms and Data Compression被引用数 5

ひとこと要約

本論文は、バイディレクショナルFMインデックスにおける近似文字列照合の最適な検索スキームを計算するための混合整数プログラミング（MIP）フレームワークを導入し、ハミング距離に基づくリードマッピングを顕著に高速化する。この手法は、標準的なバックトラッキングと比較して検索時間を最大35倍短縮し、インデックスベースの検索と動的計画法による検証を組み合わせることで、トップクラスのアラインヤーと同等の性能を達成する。

ABSTRACT

Finding approximate occurrences of a pattern in a text using a full-text index is a central problem in bioinformatics and has been extensively researched. Bidirectional indices have opened new possibilities in this regard allowing the search to start from anywhere within the pattern and extend in both directions. In particular, use of search schemes (partitioning the pattern and searching the pieces in certain orders with given bounds on errors) can yield significant speed-ups. However, finding optimal search schemes is a difficult combinatorial optimization problem. Here for the first time, we propose a mixed integer program (MIP) capable to solve this optimization problem for Hamming distance with given number of pieces. Our experiments show that the optimal search schemes found by our MIP significantly improve the performance of search in bidirectional FM-index upon previous ad-hoc solutions. For example, approximate matching of 101-bp Illumina reads (with two errors) becomes 35 times faster than standard backtracking. Moreover, despite being performed purely in the index, the running time of search using our optimal schemes (for up to two errors) is comparable to the best state-of-the-art aligners, which benefit from combining search in index with in-text verification using dynamic programming. As a result, we anticipate a full-fledged aligner that employs an intelligent combination of search in the bidirectional FM-index using our optimal search schemes and in-text verification using dynamic programming outperforms today's best aligners. The development of such an aligner, called FAMOUS (Fast Approximate string Matching using OptimUm search Schemes), is ongoing as our future work.

研究の動機と目的

• 近似文字列照合に用いられるバイディレクショナルFMインデックスにおける検索スキームに、体系的な最適化が欠けているという問題に取り組む。
• ハミング距離を前提とした最適な検索スキーム問題を、証明可能な最適性または近似的最適性を達成できるように、混合整数計画法（MIP）として定式化する。
• リードのセグメントを知的な分割と順序付けによって最適化することで、バックトラッキングの最小化を実現し、バイオインフォマティクス分野における近似文字列照合の高速化を実現する。
• 理論的計算量と実用的実行時間の両面で、MIPによって得られた最適スキームが、直感的またはヒューリスティックな手法を上回ることを示す。
• 最適なインデックス検索とテキスト内での動的計画法による検証を統合する次世代アラインヤー、FAMOUSの基盤を構築する。

提案手法

• 検索スキーム最適化問題を、ピeceの順列、検索順序、誤差分布を符号化する変数を含む混合整数プログラム（MIP）として定式化する。
• バイディレクショナルFMインデックスにおける接続性条件を、任意の出発ピースから連続的な拡張を許可するように順列を制約することで満たす。
• MIPソルバを用いて、すべての可能なミスマッチパターンを正確に一度だけカバーする最適または近似的最適な検索スキームを特定し、重複計算を最小限に抑える。
• リードをP個のピースに等分割し、各スキームでS回の検索を実行し、合計でK回の誤差を許容するように最適化する。
• MIPの早期収束特性を活用し、小さなR値を代理として解くことで、大規模な入力サイズに対しても高速に高品質な解を得られる。
• 実際のIlluminaリードを用いた比較により、MIPの有効性を検証し、トライエッジ数と実行時間の観点から、標準的なバックトラッキングおよび最先端のアラインヤーとの検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハミング距離に基づく近似文字列照合における最適な検索スキーム問題を、証明可能な最適性を保証するように混合整数プログラムとして定式化できるか？
• RQ2 K、R、P、Sの値が増加するに従って、MIPの解の品質と収束速度はどのように変化するのか。特に、大規模な生物学的リードに対してどうなるか。
• RQ3 最適な検索スキームはリード長Rに対してどれほど感度が低く、この性質は理論的に説明可能か？
• RQ4 MIP定式化を、可変なピース数、不均等なピース長、または非制限の検索回数の最適化に拡張可能か？
• RQ5 ハミング距離用に設計されたMIP導出スキームは、編集距離（エディット距離）に対してもどれほど有効か？

主な発見

• 提示されたMIP定式化は、大きな入力パラメータに対しても、合理的な時間内で最適または近似的最適な検索スキームを効果的に計算可能であることが示された。
• 101bpのIlluminaリードに2つの誤差がある場合、最適スキームを用いた近似文字列照合は、標準的なバックトラッキングと比較して最大35倍高速である。
• K=1およびK=2の場合、最適スキームを用いたバイディレクショナルFMインデックス上の検索性能は、インデックス検索とテキスト内での動的計画法による検証を組み合わせたトップクラスのアラインヤーと同等の実行時間に達する。
• MIPによって生成されたスキームは、ハミング距離だけでなく、編集距離に対しても優れた性能を示し、誤差モデル間での汎用性が示唆される。
• MIPは強力な早期収束を示し、小さなR値を代理として解くことで、大規模な問題に対しても実用的な高速解を得られる。
• これらの結果から、MIPによる最適なインデックス検索と動的計画法によるテキスト内検証を統合するフルスタックのアラインヤー（FAMOUSプロジェクトとして進行中）が、現在の最良のアラインヤーを上回る可能性があることが示唆される。