[논문 리뷰] LISA: Towards Learned DNA Sequence Search

Darryl Ho, Jialin Ding외 5명|arXiv (Cornell University)|2019. 10. 10.

Genomics and Phylogenetic Studies참고 문헌 18인용 수 11

한 줄 요약

LISA는 참조 게놈의 접미사 분포를 모델링하여 정확한 DNA 서열 검색을 가속화하는 학습된 색인 접근법을 도입한다. FM-인덱스를 학습된 랭크 기반 방법(RMI)으로 확장하여 쿼리 시간을 줄인다. 인간 게놈에 대해 5000만 개의 쿼리를 대상으로 평가한 결과, 매우 최적화된 FM-인덱스 구현보다 최대 4배 빠른 성능을 기록하며, 정확한 의미 보존 보장이 있는 머신러닝 기반 유전체 작업의 실현 가능성을 입증한다.

ABSTRACT

Next-generation sequencing (NGS) technologies have enabled affordable sequencing of billions of short DNA fragments at high throughput, paving the way for population-scale genomics. Genomics data analytics at this scale requires overcoming performance bottlenecks, such as searching for short DNA sequences over long reference sequences. In this paper, we introduce LISA (Learned Indexes for Sequence Analysis), a novel learning-based approach to DNA sequence search. As a first proof of concept, we focus on accelerating one of the most essential flavors of the problem, called exact search. LISA builds on and extends FM-index, which is the state-of-the-art technique widely deployed in genomics tool-chains. Initial experiments with human genome datasets indicate that LISA achieves up to a factor of 4X performance speedup against its traditional counterpart.

연구 동기 및 목표

• 고속 유전체 데이터 분석에서 발생하는 성능 저하 문제, 특히 긴 參照 서열에서 정확한 DNA 서열 검색의 성능 저하를 해결하기 위해.
• 머신러닝이 FM-인덱스 기반 검색에서 접미사 영역 국소화의 핵심 단계를 가속화할 수 있는지 탐색하기 위해.
• 정확한 매칭 의미를 유지하면서도 쿼리 성능을 향상시키는 FM-인덱스의 학습 가능한 확장 구조를 설계하기 위해.
• 실제 유전체 워크로드에서 최신 기술 수준의 매우 최적화된 FM-인덱스 구현체와 비교하여 제안된 학습된 접근법의 성능을 평가하기 위해.

제안 방법

• 쿼리 서브스트링의 시작 위치를 Burrows-Wheeler Transform(BWT) 행렬에서 예측하기 위해 학습된 랭크 기반 함수(RMI)를 도입하여 FM-인덱스를 확장한다.
• 접미사에서 파생된 (문자 K, 정수) 쌍의 분포를 모델링하여 주어진 쿼리에 대한 사전순 범위를 신속하게 검색할 수 있도록 한다.
• 배치 쿼리 처리 중에 다수의 학습된 범위를 효율적으로 병합하기 위해 이중 포인터 기법을 사용한다.
• 이진 검색을 학습된 비균일 샘플링 기반 검색으로 대체하는 학습된 색인 구조(RMI)를 적용하여 위치 예측 속도를 향상시킨다.
• RMI의 효과를 평가하기 위한 경쟁 기반으로 다운샘플링된 룩업 테이블을 구축하지만, 높은 메모리 사용으로 인해 실용적이지 않다.
• 학습된 모델을 적용하여 BWT 행렬에서 전통적인 FM-인덱스 작업을 수행하기 전에 검색 공간을 좁혀 정확한 검색을 가속화한다.

실험 결과

연구 질문

• RQ1 학습된 색인 구조가 의미 정확성 손실 없이 정확한 DNA 서열 검색 성능을 향상시킬 수 있는가?
• RQ2 학습된 랭크 기반 함수(RMI)가 FM-인덱스 쿼리 해결을 가속화하는 데 이진 검색과 비교해 어떻게 성능을 높이는가?
• RQ3 실제 유전체 워크로드에서 학습된 색인 접근법의 성능에 배치 크기가 미치는 영향은 무엇인가?
• RQ4 유사한 메모리 제약 조건 하에서 학습된 색인의 메모리 프로파일과 쿼리 시간은 다운샘플링된 룩업 테이블 기반 베이스라인과 어떻게 비교되는가?

주요 결과

• LISA는 인간 게놈에 대해 5000만 개의 쿼리를 대상으로 한 매우 최적화된 단일 스레드 FM-인덱스 구현체 대비 최대 4배 빠른 성능을 기록한다.
• 21개 염기 길이의 쿼리에 대해 LISA는 평균 쿼리 시간을 FM-인덱스의 1509 틱에서 383 틱으로 줄여 3.94배의 성능 향상을 달성한다.
• LISA의 성능 우월성은 배치 크가 커질수록 증가하며, 10,000개 이상의 쿼리가 포함된 배치에서는 FM-인덱스를 능가한다.
• RMI를 동일한 메모리 크기의 다운샘플링된 룩업 테이블로 대체하면 성능이 40% 저하되며, 이는 RMI의 우월성을 입증한다.
• LISA의 이중 포인터 기법은 이진 검색 대비 약 2배 성능 향상을 이룬다. 그러나 작은 배치에서는 이 기법이 덜 효과적이므로 오버헤드가 발생한다.
• LISA는 기존 FM-인덱스와 동일한 정확한 매칭 보장을 유지하며, 정확성을 유지하면서 검색 속도를 향상시킨다.