[논문 리뷰] MEGAHIT: An ultra-fast single-node solution for large and complex metagenomics assembly via succinct de Bruijn graph

Dinghua Li, Chi-Man Liu외 3명|arXiv (Cornell University)|2014. 09. 25.

Genomics and Phylogenetic Studies참고 문헌 9인용 수 457

한 줄 요약

MEGAHIT는 대규모이고 복잡한 메타게놈 데이터셋을 위한 매우 효율적인 단일 노드 디 노보 어셈블러로, 사전 처리 단계(예: 분할 또는 정규화) 없이 초경량 de Bruijn 그래프를 활용하여 초고속 어셈블리가 가능하다. GPU를 사용해 단 44.1시간 만에 토양 메타게놈에서 3배 더 큰 어셈블리와 향상된 N50 및 평균 컨티그 길이를 달성했으며, 읽기의 55.8%가 어셈블리에 정렬되었는데, 이는 이전 방법 대비 4배 높은 수준이다.

ABSTRACT

MEGAHIT is a NGS de novo assembler for assembling large and complex metagenomics data in a time- and cost-efficient manner. It finished assembling a soil metagenomics dataset with 252Gbps in 44.1 hours and 99.6 hours on a single computing node with and without a GPU, respectively. MEGAHIT assembles the data as a whole, i.e., it avoids pre-processing like partitioning and normalization, which might compromise on result integrity. MEGAHIT generates 3 times larger assembly, with longer contig N50 and average contig length than the previous assembly. 55.8% of the reads were aligned to the assembly, which is 4 times higher than the previous. The source code of MEGAHIT is freely available at https://github.com/voutcn/megahit under GPLv3 license.

연구 동기 및 목표

• 대규모이고 복잡한 메타게놈 데이터셋을 위한 빠르고 확장 가능하며 정확한 디 노보 어셈블러를 개발하는 것.
• 어셈블리 무결성을 손상시킬 수 있는 사전 처리 단계(예: 분할 또는 정규화)가 필요 없도록 하는 것.
• 고성능 분산 시스템을 요구하지 않고도 단일 컴퓨팅 노드에서 효율적인 어셈블리가 가능하도록 하는 것.
• 기존 도구들과 비교해 메타게놈 어셈블리의 연속성과 완전성을 향상시키는 것.
• 연구 공동체가 활용하고 확장할 수 있도록 자유롭게 사용할 수 있는 오픈소스 솔루션(GPLv3 라이선스 하에)을 제공하는 것.

제안 방법

• 사용 메모리 최소화와 동시에 효율적인 탐색 및 어셈블리가 가능한 초경량 de Bruijn 그래프 데이터 구조를 사용한다.
• 사전 처리 또는 정규화 없이 원시 시퀀싱 리드에서 직접 de Bruijn 그래프를 구축한다.
• 시간 복잡도가 선형인 구축 방법을 사용해 그래프를 점진적으로 빌드함으로써 속도와 메모리 사용을 최적화한다.
• 경로 확장 전략을 활용해 경로를 병합하고 분기점을 해결함으로써 연속성을 향상시킨다.
• CPU 및 GPU 가속을 모두 지원하여 GPU가 탑재된 노드에서 런타임을 크게 단축시킨다.
• 데이터셋을 더 작은 부분으로 나누는 것을 피함으로써 복잡한 게놈 영역의 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 단일 노드 디 노보 어셈블러가 대규모이고 복잡한 메타게놈 데이터셋에서 높은 성능과 정확도를 달성할 수 있는가?
• RQ2 초경량 de Bruijn 그래프의 사용이 메모리 효율성과 어셈블리 속도에 어떤 영향을 미치는가?
• RQ3 사전 처리 단계를 생략함으로써 최종 어셈블리의 완전성과 연속성이 얼마나 향상되는가?
• RQ4 GPU 가속이 어셈블리 파이프라인에서 어떤 성능 향상을 가져오는가?
• RQ5 MEGAHIT은 이전 어셈블러들과 비교해 읽기 정렬률과 컨티그 N50 측면에서 어떻게 다른가?

주요 결과

• MEGAHIT는 GPU를 사용해 44.1시간, GPU 없이 99.6시간 만에 252Gbps의 토양 메타게놈을 어셈블링하여 단일 노드에서 뛰어난 속도를 입증했다.
• 이전 방법 대비 3배 더 큰 어셈블리가 생성되었으며, N50와 평균 컨티그 길이가 크게 향상되었다.
• 시퀀싱 리드의 55.8%가 최종 어셈블리에 성공적으로 정렬되었으며, 이는 이전 어셈블러 대비 4배 높은 성능이다.
• 분할 또는 정규화와 같은 사전 처리 단계 없이도 높은 성능을 달성하여 게놈의 무결성이 유지되었다.
• 소스 코드는 자유롭게 사용할 수 있는 GPLv3 라이선스 하에 공개되어 있어 광범위한 공동체 활용과 확장이 가능하다.
• 초경량 de Bruijn 그래프 구조는 효율적인 메모리 사용과 빠른 구축을 가능하게 하여 대규모 데이터셋에 대한 단일 노드 어셈블리의 실현 가능성을 높였다.