[논문 리뷰] Fractional Hitting Sets for Efficient and Lightweight Genomic Data Sketching

Rouzé, Timothé, Martayan, Igor외 2명|arXiv (Cornell University)|2015. 05. 25.

Genomics and Phylogenetic Studies참고 문헌 18인용 수 47

한 줄 요약

이 논문은 짧은 리드를 공통 최소 부분문자열을 공유하는 '슈퍼 k-머'의 상호배타적 파artition으로 나누는 최소 부분문자열 분할(MSP)을 사용하는 디스크 기반 k-머 카운팅 방법인 MSPKmerCounter를 제안한다. 리드 내부의 k-머 오버랩을 활용함으로써 고압축을 달성하여 I/O 및 메모리 사용량을 감소시킨다. 대규모 게놈 데이터셋에서 Jellyfish와 BFCounter를 모두 능가하는 속도와 메모리 효율성으로, 일반 하드웨어에서도 확장성 있고 메모리 효율적인 k-머 카운팅을 가능하게 한다.

ABSTRACT

A major challenge in next-generation genome sequencing (NGS) is to assemble massive overlapping short reads that are randomly sampled from DNA fragments. To complete assembling, one needs to finish a fundamental task in many leading assembly algorithms: counting the number of occurrences of k-mers (length-k substrings in sequences). The counting results are critical for many components in assembly (e.g. variants detection and read error correction). For large genomes, the k-mer counting task can easily consume a huge amount of memory, making it impossible for large-scale parallel assembly on commodity servers. In this paper, we develop MSPKmerCounter, a disk-based approach, to efficiently perform k-mer counting for large genomes using a small amount of memory. Our approach is based on a novel technique called Minimum Substring Partitioning (MSP). MSP breaks short reads into multiple disjoint partitions such that each partition can be loaded into memory and processed individually. By leveraging the overlaps among the k-mers derived from the same short read, MSP can achieve astonishing compression ratio so that the I/O cost can be significantly reduced. For the task of k-mer counting, MSPKmerCounter offers a very fast and memory-efficient solution. Experiment results on large real-life short reads data sets demonstrate that MSPKmerCounter can achieve better overall performance than state-of-the-art k-mer counting approaches. MSPKmerCounter is available at http://www.cs.ucsb.edu/~yangli/MSPKmerCounter

연구 동기 및 목표

• 대규모 게놈에서 k-머 카운팅의 메모리 병목 현상을 해결하여 일반 하드웨어에서의 de novo 어셈블리 제한을 해소한다.
• 특히 고카버리지 체내 게놈에서 과도한 메모리 소비를 유발하는 해시 테이블 기반 방법의 한계를 극복한다.
• 메모리 사용량을 최소화하면서도 고성능을 유지하는 디스크 기반 확장 가능한 솔루션을 개발하여 k-머 빈도 카운팅을 수행한다.
• 최소한의 주 메모리로도 거대한 단일 읽기 데이터셋을 효율적이고 병렬 처리 가능한 방식으로 처리할 수 있도록 한다.

제안 방법

• 각 리드를 공통 최소 부분문자열(p ≤ k)을 공유하는 '슈퍼 k-머'의 상호배타적 파artition으로 나누기 위해 최소 부분문자열 분할(MSP)을 적용한다.
• 각 리드 내부의 겹치는 k-머를 활용하여 데이터를 압축함으로써, 각 파artition당 고유한 k-머의 수를 줄이고 I/O 오버헤드를 최소화한다.
• 주 메모리 오버플로우를 방지하기 위해 파artition을 순차적으로 저장하고 처리하는 디스크 기반 파이프라인을 사용한다.
• 병렬 처리를 위해 다중 스레드 버전을 구현하여 파artition 생성 및 카운팅 단계를 병렬화함으로써 다중 코어 시스템에서의 처리량을 향상시킨다.
• 각 파artition 내에서 빈도 카운팅을 위해 해시 테이블을 사용하고, 결과는 후처리 단계에서 통합한다.
• 구성 가능한 파rameter를 통해 메모리 및 I/O 사용량을 제어하여 다양한 하드웨어 환경에서 성능 조정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 디스크 기반 k-머 카운팅 방법이 대규모 게놈 데이터에 대해 Jellyfish와 같은 메모리 기반 접근 방식보다 더 뛰어난 메모리 효율성을 달성할 수 있는가?
• RQ2 리드 내부의 k-머 오버랩을 활용함으로써 최소 부분문자열 분할(MSP)이 I/O 비용을 크게 감소시키는가?
• RQ3 MSPKmerCounter는 Jellyfish와 BFCounter와 같은 최신 기술 대비 실행 시간, 메모리 사용량, 디스크 I/O 측면에서 어떻게 비교되는가?
• RQ4 다중 코어 시스템에서 MSP 기반 k-머 카운팅이 낮은 메모리 프로파일을 유지하면서 효과적으로 병렬화될 수 있는가?
• RQ5 고성능 메모리 시스템이 필요 없이도 매우 큰 데이터셋(예: 100x 커버리지)에 대해 확장성이 있는가?

주요 결과

• MSPKmerCounter는 Jellyfish와 같은 메모리 기반 도구가 요구하는 메모리의 일부분만으로도 대규모 게놈 데이터셋에서 k-머 카운팅을 성공적으로 수행하여 일반 하드웨어에서도 사용 가능하게 한다.
• MSP를 통한 효과적인 압축 덕분에, MSPKmerCounter는 단순 해시 기반 파artition 방식 대비 I/O 비용을 10~15배 감소시켰다.
• Lake Malawi cichlid 데이터셋(k=31)에서 MSPKmerCounter는 낮은 메모리 사용량에도 불구하고 Jellyfish(Disk)와 BFCounter보다 더 빠른 실행 시간을 달성했다.
• 다중 스레드 버전인 MSPKmerCounter(MT)는 속도 면에서 Jellyfish(Disk)를 능가했으며, I/O 대역폭 제한으로 2개 스레드까지 양호한 확장성을 보였다.
• MSPKmerCounter의 메모리 소비, 실행 시간, 디스크 사용량은 모두 구성 가능한 파rameter를 통해 제어 가능하여 다양한 하드웨어 환경에 맞게 성능을 조정할 수 있었다.
• 서로 겹치지 않는 파artition을 보장함으로써, 분산 및 로컬 어셈블리 파이프라인을 위한 확장성 있고 병렬 처리 가능한 k-머 카운팅을 가능하게 했다.