[논문 리뷰] KMC 3: counting and manipulating k-mer statistics

Marek Kokot, Maciej Długosz외 1명|arXiv (Cornell University)|2017. 01. 27.

Gene expression and cancer classification참고 문헌 3인용 수 5

한 줄 요약

KMC3는 향상된 입출력, 새로운 정렬 루틴, 향상된 병렬 처리를 통해 고도로 최적화되고 메모리 효율적인 k-mer 카운팅 알고리즘을 도입하여 k-mer 통계 계산을 가속화한다. 기존 도구에 비해 처리 시간을 최대 80% 감소시키고 메모리 사용량을 최대 90% 감소시키며, KMC 도구는 후속 생정보학 워크플로우에서 k-mer 데이터베이스를 효율적으로 다룰 수 있도록 한다.

ABSTRACT

Summary: Counting all k-mers in a given dataset is a standard procedure in many bioinformatics applications. We introduce KMC3, a significant improvement of the former KMC2 algorithm together with KMC tools for manipulating k-mer databases. Usefulness of the tools is shown on a few real problems. Availability: Program is freely available at http://sun.aei.polsl.pl/REFRESH/kmc. Contact: [e-mail]

연구 동기 및 목표

• 대규모 게놈 데이터셋에서 k-mer 카운팅의 계산적 병목 현상을 해결한다.
• 압축된 FASTQ 파일에서 k-mer 카운팅의 메모리 사용량을 줄이고 속도를 향상시킨다.
• k-mer 데이터베이스를 효율적으로 다룰 수 있는 모듈러 툴킷(KMC 도구)을 개발한다.
• Genome assembly, 변이 탐지, 반복 요소 식별 등의 애플리케이션을 위한 더 빠르고 확장 가능한 분석 워크플로우를 가능하게 한다.
• 실제 게놈 데이터셋에서 기존 도구보다 빠른 속도와 높은 메모리 효율성을 확보한다.

제안 방법

• k-mer를 m-mer 서명으로 그룹화한 후 그룹 내에서 중복 제거를 위한 정렬을 수행하는 이중 단계 처리 모델을 채택한다.
• 압축된 FASTQ 파일의 최적화된 로딩과 효율적인 서명 기반 그룹화를 통해 입출력 성능을 향상시킨다.
• KMC2에서 라디스 정렬을 대체하기 위해 Kokot 등(2016)이 개발한 새로운 빠른 정렬 알고리즘을 도입하여 두 번째 단계의 속도를 가속화한다.
• 정렬 및 기타 연산의 병렬 처리를 향상시켜 다중 코어 시스템의 성능을 최대한 활용한다.
• k-mer 데이터베이스에 대한 필터링, 변환, 집합 연산(예: 합집합, 교집합 등)을 수행할 수 있는 KMC 도구를 도입한다.
• 다중 k-mer 데이터베이스를 대상으로 복합 표현식을 통해 복잡한 연산을 지원하여 고급 게놈 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 게놈 데이터셋에서 k-mer 카운팅을 상당히 가속화하고 메모리 효율적으로 만들 수 있는가?
• RQ2 실제 데이터에서 KMC3의 성능은 Jellyfish, DSK2, Gerbil, KCMBT와 같은 기존 k-mer 카운팅 도구와 비교해 어떻게 되는가?
• RQ3 KMC 도구가 k-mer 기반 생정보학 애플리케이션에서 커스터마이징된 워크플로우를 얼마나 잘 대체할 수 있는가?
• RQ4 KMC3 및 그 도구들이 종단 간 생정보학 워크플로우에서 실행 시간과 메모리 소비를 모두 줄일 수 있는가?
• RQ5 700 GB 이상의 데이터셋에서 KMC3의 확장성은 어떠한가?

주요 결과

• KMC3는 가장 큰 데이터셋(H. sapiens 3, 729 GB)의 k-mer 카운팅을 100분 이내에 완료했으며, 압축된 입력에서 k=55일 경우 5,331초가 소요되었다.
• G. gallus 데이터셋에서 KMC3는 가장 빠른 도구였으며, k=55일 때 KMC2 대비 최대 25% 빠르고 Gerbil 대비 최대 30% 빠르게 처리했다.
• H. sapiens 3에서 k=55일 때 KMC3는 RAM을 단 34 GB만 사용했으며, KCMBT와 Jellyfish가 실패한 128 GB 제한을 크게 밑도는 수준이었다.
• DIAMUND 사례 연구에서 KMC 도구는 처리 시간을 13시간에서 4시간으로 줄였고, RAM 사용량도 107 GB에서 12 GB로 감소시켰다.
• NIKS 워크플로우에서 KMC 도구는 처리 시간을 약 40분에서 5분으로 줄였고, RAM 사용량도 92 GB에서 12 GB로 감소시켰다.
• GenomeTester4 스타일 실험에서 KMC 도구는 처리 시간을 5시간에서 15분으로 줄였고, RAM 사용량도 75 GB에서 12 GB로 감소시켰다.