[논문 리뷰] Kmerlight: fast and accurate k-mer abundance estimation

Naveen Sivadasan, Rajgopal Srinivasan외 1명|arXiv (Cornell University)|2016. 09. 19.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 12인용 수 11

한 줄 요약

Kmerlight는 하이퍼스페이스를 사용하지 않고도 유전체 데이터에서 k-mer 빈도 히스토그램을 빠르고 정확하며 메모리 효율적으로 추정하는 스트리밍 알고리즘입니다. 하위선형 공간과 증명 가능한 오차 한계를 제공하며, 표준 데스크톱 하드웨어에서 500MB 미만의 RAM을 사용해 상대 오차가 2% 미만입니다.

ABSTRACT

k-mers (nucleotide strings of length k) form the basis of several algorithms in computational genomics. In particular, k-mer abundance information in sequence data is useful in read error correction, parameter estimation for genome assembly, digital normalization etc. We give a streaming algorithm Kmerlight for computing the k-mer abundance histogram from sequence data. Our algorithm is fast and uses very small memory footprint. We provide analytical bounds on the error guarantees of our algorithm. Kmerlight can efficiently process genome scale and metagenome scale data using standard desktop machines. Few applications of abundance histograms computed by Kmerlight are also shown. We use abundance histogram for de novo estimation of repetitiveness in the genome based on a simple probabilistic model that we propose. We also show estimation of k-mer error rate in the sampling using abundance histogram. Our algorithm can also be used for abundance estimation in a general streaming setting. The Kmerlight tool is written in C++ and is available for download and use from https://github.com/nsivad/kmerlight.

연구 동기 및 목표

• 증명 가능한 오차 보장을 갖춘 효율적인 스트리밍 알고리즘을 통해 k-mer 빈도 히스토그램을 추정할 수 있는 방법이 부족한 문제를 해결하기 위해.
• 큰 규모의 유전체 데이터, 예를 들어 전체 게놈과 메타게놈에서 k-mer 카운팅의 메모리 사용량과 계산 시간을 줄이기 위해.
• 기본 참조 게놈에 대한 사전 지식 없이도 독 데이터에서 게놈 크기, k-mer 오차율, 서열 반복성과 같은 핵심 유전체학적 파라미터를 추정할 수 있도록 하기 위해.

제안 방법

• Kmerlight는 Count-Min 스킴과 고유 수 추정 스트리밍 알고리즘을 영감으로 받아, 각 레벨에 r개의 카운터를 가진 다수준 스케치 데이터 구조를 사용합니다.
• 다양한 독립적인 추정치의 중앙값을 사용하여 분산을 줄이기 위해 F₀(고유한 k-mer 수)를 추정합니다.
• 각 k-mer 빈도 fᵢ에 대해 해시 충돌과 샘플링 효과를 고려한 확률 모델을 사용하여 편향된 추정치 f̂ᵢ를 계산합니다.
• 모든 fᵢ에 대해 fᵢ ≥ F₀/λ인 경우에 고확률 정확도 보장을 확보하기 위해 중앙값 기반의 확률 강화 기법을 적용합니다.
• 적절한 파라미터 설정 하에 r = O(1/ε²)일 때, f̂ᵢ ∈ [(1−ε)fᵢ, (1+ε)fᵢ]가 고확률로 성립하는 분석적 오차 한계를 제공합니다.
• 로그arithmic 공간 복잡도와 k-mer당 선형 업데이트 시간을 갖는 멀티스레딩 기반의 메모리 내 처리를 지원합니다.

실험 결과

연구 질문

• RQ1 스트리밍 환경에서 증명 가능한 오차 한계와 하위선형 메모리 사용량을 갖는 알고리즘이 전체 k-mer 빈도 히스토그램(F₀ 및 모든 i에 대해 fᵢ)을 추정할 수 있는가?
• RQ2 표준 데스크톱 시스템에서 게놈 규모 및 메타게놈 규모의 데이터셋에 대해 k-mer 빈도 추정을 동시에 빠르고 정확하게 수행할 수 있는가?
• RQ3 기본 참조 게놈에 대한 사전 지식 없이도 k-mer 빈도 히스토그램을 사용해 게놈 수준의 반복성과 k-mer 오차율을 추론할 수 있는가?
• RQ4 제한된 메모리 환경에서 스트리밍 설정에서 fᵢ(빈도 i를 가진 k-mers의 수)를 추정할 때 이론적 오차 한계는 무엇인가?
• RQ5 알고리즘의 성능은 k-mer 크기, 데이터셋 크기, 메모리 제약 조건의 변화에 따라 어떻게 스케일링되는가?

주요 결과

• Kmerlight는 표준 데스크톱 하드웨어에서 500MB 미만의 RAM을 사용하여 k-mer 빈도 추정에서 상대 오차가 2% 미만임을 입증하며 높은 정확도를 보입니다.
• O(λ/ε² log(λ/δ) log F₀)의 메모리로, 모든 fᵢ ≥ F₀/λ인 경우에 대해 (1±ε) 정확도를 고확률(1−δ)로 확보합니다.
• 외부 저장소 없이도 메모리 내에서 다중 스레딩 처리가 효율적으로 가능하며, 게놈 규모 및 메타게놈 규모의 데이터셋으로도 스케일링됩니다.
• 단순한 확률 모델을 k-mer 빈도 히스토그램에 피팅하여 새로운 게놈 반복성 추정이 가능합니다.
• F₀ 및 fᵢ에 대한 분석적 오차 한계를 제공함으로써, 전체 빈도 히스토그램 추정에 대해 이러한 보장을 제공하는 첫 번째 스트리밍 알고리즘입니다.
• GitHub에 C++ 구현체로 제공되며, 독 오류 보정, 디지털 정규화, 게놈 조립의 파rameter 튜닝 등 응용에 적합합니다.