[논문 리뷰] Optimum Search Schemes for Approximate String Matching Using Bidirectional FM-Index

Kiavash Kianfar, Christopher Pockrandt외 3명|arXiv (Cornell University)|2017. 11. 06.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 이방향 FM-인덱스에서 근사 문자열 매칭을 위한 최적의 검색 체계를 계산하기 위한 혼합정수계획법(MIP) 프레임워크를 제안하며, 해밍 거리 기반 리드 매핑을 크게 가속화한다. 이 방법은 표준 백트래킹 대비 최대 35배 빠른 검색 시간을 달성하며, 인덱스 기반 검색과 동적 계획법 검증을 조합하여 최고 수준의 어ライ너와 유사한 성능을 달성한다.

ABSTRACT

Finding approximate occurrences of a pattern in a text using a full-text index is a central problem in bioinformatics and has been extensively researched. Bidirectional indices have opened new possibilities in this regard allowing the search to start from anywhere within the pattern and extend in both directions. In particular, use of search schemes (partitioning the pattern and searching the pieces in certain orders with given bounds on errors) can yield significant speed-ups. However, finding optimal search schemes is a difficult combinatorial optimization problem. Here for the first time, we propose a mixed integer program (MIP) capable to solve this optimization problem for Hamming distance with given number of pieces. Our experiments show that the optimal search schemes found by our MIP significantly improve the performance of search in bidirectional FM-index upon previous ad-hoc solutions. For example, approximate matching of 101-bp Illumina reads (with two errors) becomes 35 times faster than standard backtracking. Moreover, despite being performed purely in the index, the running time of search using our optimal schemes (for up to two errors) is comparable to the best state-of-the-art aligners, which benefit from combining search in index with in-text verification using dynamic programming. As a result, we anticipate a full-fledged aligner that employs an intelligent combination of search in the bidirectional FM-index using our optimal search schemes and in-text verification using dynamic programming outperforms today's best aligners. The development of such an aligner, called FAMOUS (Fast Approximate string Matching using OptimUm search Schemes), is ongoing as our future work.

연구 동기 및 목표

• 근사 문자열 매칭에 사용되는 이방향 FM-인덱스의 검색 체계에 대한 체계적 최적화의 부족을 해결한다.
• 해밍 거리 기반 최적의 검색 체계 문제를 혼합정수계획법(MIP)으로 공식화하여 증명 가능한 최적 또는 근사 최적 해를 달성한다.
• 읽기 조각의 지능적인 분할 및 순서 정렬을 통해 백트래킹을 최소화하여 생물정보학에서의 더 빠른 근사 문자열 매칭을 가능하게 한다.
• 이론적 복잡도와 실질적인 실행 시간 모두에서 MIP로 도출된 최적 체계가 수동적 또는 히우리스틱 접근 방식보다 뛰어나다는 것을 입증한다.
• 최적 인덱스 검색과 텍스트 내 동적 계획법 검증을 조합한 차세대 어라이저인 FAMOUS를 위한 기반을 마련한다.

제안 방법

• 변수들이 조각 순열, 검색 순서 및 오류 분포를 표현하도록, 검색 체계 최적화 문제를 혼합정수계획법(MIP)으로 공식화한다.
• 이방향 FM-인덱스에서의 연결성 조건을 유도하기 위해, 어떤 시작 조각에서든 연속적인 확장을 允허하는 순열로 제약을 설정한다.
• 모든 가능한 오류 패턴을 정확히 한 번만 커버하는 최적 또는 근사 최적의 검색 체계를 찾기 위해 MIP 솔버를 사용하며, 중복 계산을 최소화한다.
• 읽기를 P개의 조각으로 균일하게 나누고, 각 체계당 S회의 검색을 허용하며, 총 K회의 허용 가능한 오류를 고려한다.
• MIP의 조기 수렴 특성을 활용하여, 작은 R 값에서의 해를 프록시로 사용함으로써, 큰 입력 크기의 문제에 대해서도 고품질의 해를 신속히 확보한다.
• 실제 일루미나 리드에서의 검색 성능(트라이 간선 수 및 실행 시간 기준)을 표준 백트래킹 및 최첨단 어라이저와 비교하여 MIP의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 해밍 거리 기반 근사 문자열 매칭에 대해 최적의 검색 체계 문제를 증명 가능한 최적성 보장과 함께 혼합정수계획법(MIP)으로 공식화할 수 있는가?
• RQ2 K, R, P, S 값이 증가함에 따라 MIP의 해 품질과 수렴 속도는 어떻게 변화하는가? 특히 큰 생물학적 리드에 대해서는 어떻게 되는가?
• RQ3 최적의 검색 체계가 리드 길이 R에 대해 얼마나 민감하지 않은가? 이 성질은 이론적으로 어떻게 설명할 수 있는가?
• RQ4 MIP 공식화를 변수 수의 조각, 비균일한 조각 길이 또는 무제한의 검색 횟수로 확장할 수 있는가?
• RQ5 해밍 거리용으로 설계된 MIP 유도 검색 체계가 에디트 거리에 대해서는 얼마나 효과적인가?

주요 결과

• 제안된 MIP 공식화는 큰 입력 파라미터에 대해서도 합리적인 시간 내에 최적 또는 근사 최적의 검색 체계를 성공적으로 계산한다.
• 101bp의 일루미나 리드에 대해 두 개의 오류가 있는 경우, 표준 백트래킹 대비 최적 체계를 사용한 근사 문자열 매칭은 최대 35배 더 빠르다.
• K=1 및 K=2인 경우, 최적 체계를 사용한 이방향 FM-인덱스 내 검색 성능은 인덱스 기반 검색과 텍스트 내 동적 계획법 검증을 조합한 최고 수준의 어라이저와 실행 시간이 유사하다.
• MIP가 생성한 체계는 해밍 거리 외에도 에디트 거리에 대해서도 뛰어난 성능을 보이며, 이는 다양한 오류 모델 간의 전이 가능성(transferability)을 시사한다.
• MIP는 강력한 조기 수렴 특성을 보이며, 고품질의 해를 신속히 확보할 수 있어, 작은 R 값에서의 해를 프록시로 사용함으로써 대규모 문제에 대한 실용적 적용이 가능하다.
• 결과는 최적 인덱스 검색(MIP를 통해)과 텍스트 내 검증(동적 계획법을 통해)을 조합한 완전한 어라이저가 현재 최고의 어라이저를 능가할 수 있을 것임을 시사하며, 이는 현재 진행 중인 FAMOUS 프로젝트의 비전과 부합한다.