[논문 리뷰] A resource-frugal probabilistic dictionary and applications in (meta)genomics

Camille Marchet, Antoine Limasset외 2명|arXiv (Cornell University)|2016. 05. 26.

Algorithms and Data Compression참고 문헌 7인용 수 5

한 줄 요약

이 논문은 최소 완전 해시 함수(MPHF) 기반의 자원 절약형 확률적 데이터 구조인 '준 사전(quasi-dictionary)'을 소개한다. 이는 유전체 및 미생물 유전자 연구에서 수십억 개의 k-mer를 확장 가능한 방식으로 색인화할 수 있도록 하며, 낮은 메모리 사용량과 통제 가능한 가짜 양성률을 달성한다. 기존 해시 테이블 및 블룸 필터보다 공간 효율성이 뛰어나며, 읽기 빈도 추정(SRC_counter)과 쌍별 읽기 유사도 탐지(SRC_linker)라는 두 가지 핵심 응용을 지원한다. 이는 기존의 정렬 기반 도구가 실패하는 거대한 데이터셋에서도 스케일링이 가능하다.

ABSTRACT

Genomic and metagenomic fields, generating huge sets of short genomic sequences, brought their own share of high performance problems. To extract relevant pieces of information from the huge data sets generated by current sequencing techniques, one must rely on extremely scalable methods and solutions. Indexing billions of objects is a task considered too expensive while being a fundamental need in this field. In this paper we propose a straightforward indexing structure that scales to billions of element and we propose two direct applications in genomics and metagenomics. We show that our proposal solves problem instances for which no other known solution scales-up. We believe that many tools and applications could benefit from either the fundamental data structure we provide or from the applications developed from this structure.

연구 동기 및 목표

• 수십억 개의 짧은 읽기로 이루어진 거대한 유전체 및 미생물 유전자 데이터셋에 대해 확장 가능하고 메모리 사용이 적은 색인화의 필수적인 필요성을 해결한다.
• 기존 도구의 한계, 즉 쌍별 읽기 비교에서의 이차 시간 복잡도와 해시 테이블 또는 블룸 필터에서의 높은 메모리 사용량을 극복한다.
• 크기 기반으로 제어 가능한 가짜 양성률과 최소한의 메모리 점유율을 갖춘 확률적 사전을 개발하여 대규모(미생물) 유전자 응용에 적합하게 한다.
• 정렬 기반 접근법이나 동적 프로그래밍을 피하기 위해 k-mer 다양성을 시퀀스 유사도의 대체 지표로 사용하여, 읽기 간 유사도 및 빈도 추정을 정렬 없이 수행한다.
• 기존 도구인 BLAST이나 starcode와 같은 것들이 실패하는 데이터셋에서도 스케일링이 가능한 실용적인 도구인 SRC_counter와 SRC_linker를 제공한다.

제안 방법

• 최소 완전 해시 함수(MPHF)를 사용하여 k-mer를 최소한의 메모리 오버헤드로 고유한 인덱스로 매핑하는 확률적 사전을 설계한다.
• 사용자가 제어할 수 있는 낮은 가짜 양성률을 갖춘 빠른 검색을 지원하는 준 사전 데이터 구조를 구현한다.
• MPHF를 사용하여 k-mer를 배열 위치로의 압축적이고 결정적인 매핑을 생성함으로써, 표준 해시 테이블에 비해 공간 사용을 줄인다.
• 준 사전을 두 가지 응용에 통합한다: 읽기 빈도 추정을 위한 SRC_counter와 k-mer 겹침을 이용한 세트 간 유사 읽기 탐지를 위한 SRC_linker.
• 관련 값(예: 빈도 수 또는 읽기 식별자)을 메모리 또는 디스크에 저장하여 큰 값 저장 오버헤드를 관리한다.
• 정렬을 피하기 위해 시퀀스 유사도의 대체 지표로 k-mer 다양성을 활용함으로써 계산 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 유전체 및 미생물 유전자 연구에서 수십억 개의 k-mer에 대해 제어 가능한 가짜 양성률을 갖는 확률적 사전을 설계할 수 있는가?
• RQ2 이러한 데이터 구조가 표준 해시 테이블 및 블룸 필터보다 공간 효율성을 뛰어나게 하면서도 빠른 쿼리 성능을 유지할 수 있는가?
• RQ3 이 구조를 기반으로 한 정렬 없는 k-mer 기반 방법이, 기존 도구인 BLAST이나 starcode가 이차 복잡도로 인해 실패하는 거대한 데이터셋에서도 스케일링이 가능한가?
• RQ4 준 사전이 대규모(미생물) 유전자 연구에서 읽기 빈도 추정 및 쌍별 유사도 탐지와 같은 실용적 응용을 어느 정도 지원할 수 있는가?
• RQ5 준 사전을 사용하여 알려지지 않은 또는 '어둠의 물질' 시퀀스를 포함하는 대규모 시퀀스 유사도 네트워크(SSN)를 구축할 수 있는가?

주요 결과

• 준 사전는 블룸 필터와 유사한 쿼리 성능을 유지를 하면서도, 블룸 필터보다 약 10배 적은 메모리를 사용한다.
• 이 방법은 수십억 개의 k-mer에까지 스케일링이 가능하며, 기존에 알려진 어떤 해결 방법으로도 확장이 불가능한 문제를 해결한다.
• SRC_counter는 고속 시퀀싱에서 오류 필터링 및 정량화에 필수적인 읽기 빈도 추정을 정확하게 수행한다.
• SRC_linker는 k-mer 겹침을 이용해 세트 간 유사 읽기를 탐지하며, BLAST이나 starcode와 같은 도구에 대한 빠르고 정렬 없는 대안을 제공한다.
• 특히 값이 작을 경우나 값이 디스크에 저장되어 있을 경우에도, 표준 해시 테이블보다 k-mer 색인화에서 공간 효율성이 뛰어나며, 효율성을 유지한다.
• 이 도구들은 대규모 SSN 구축과 호환되어, 기존 도구가 실패하는 상황에서 미생물 다양성 및 어둠의 물질 시퀀스 분석을 대규모로 수행할 수 있도록 한다.