[논문 리뷰] On the representation of de Bruijn graphs

Rayan Chikhi, Antoine Limasset외 3명|arXiv (Cornell University)|2014. 01. 21.

Genomics and Phylogenetic Studies참고 문헌 26인용 수 15

한 줄 요약

이 논문은 빈도 기반 최소화자를 활용하여 최대 단순 경로를 열거함으로써 메모리 사용을 크게 줄인 새로운 데이터 구조 dbgfm을 소개한다. 인간 전장 게놈 데이터에서 46%의 메모리 절감을 이룩했으며(1.5 GB), ABySS와 같은 어셈블러에 통합 가능하여 실용적 입력에서 2n 비트 매 k-머에 근접한 거의 최적의 공간 사용을 보여준다.

ABSTRACT

The de Bruijn graph plays an important role in bioinformatics, especially in the context of de novo assembly. However, the representation of the de Bruijn graph in memory is a computational bottleneck for many assemblers. Recent papers proposed a navigational data structure approach in order to improve memory usage. We prove several theoretical space lower bounds to show the limitation of these types of approaches. We further design and implement a general data structure (DBGFM) and demonstrate its use on a human whole-genome dataset, achieving space usage of 1.5 GB and a 46% improvement over previous approaches. As part of DBGFM, we develop the notion of frequency-based minimizers and show how it can be used to enumerate all maximal simple paths of the de Bruijn graph using only 43 MB of memory. Finally, we demonstrate that our approach can be integrated into an existing assembler by modifying the ABySS software to use DBGFM.

연구 동기 및 목표

• 인간과 화이트 스프루스와 같은 큰 게놈에서 게놈 어셈블러 내 de Bruijn 그래프 표현의 높은 메모리 오버헤드 문제를 해결하기 위해.
• 내비게이션 데이터 구조(NDS)를 정형화하고, 그 표현을 위한 이론적 공간 하한을 설정하기 위해.
• 실제 de Bruijn 그래프의 구조, 특히 장거리 단순 경로로의 분해를 활용한 실용적이고 저메모리 데이터 구조(dbgfm)를 설계하기 위해.
• 빈도 기반 최소화자가 단순 경로의 메모리 내 열거를 효율적으로 가능하게 하여 오직 43 MB의 메모리만으로도 가능함을 입증하기 위해.
• 기존 어셈블러(ABySS)에 dbgfm을 통합하여 메모리 사용을 줄이면서도 핵심 어셈블리 워크플로우와의 호환성을 유지함을 보여주기 위해.

제안 방법

• 시퀀싱 데이터를 디스크에 저장된 k-머 목록으로 사전 처리하기 위해 k-머 수세기 소프트웨어를 사용하여 일정 메모리로 사전 처리를 수행한다.
• 빈도 기반 최소화자—데이터셋 내 빈도에 기반한 ℓ-머의 사전순서가 아닌 순서—를 사용하여 최대 단순 경로의 열거를 이끌어낸다.
• 전체 그래프를 메모리에 로드하지 않고도 모든 최대 단순 경로를 열거하는 새로운 알고리즘을 개발하며, 이는 빈도 순서로 정렬된 최소화자를 통해 탐색을 이끌어낸다.
• 열거된 경로를 FM-색인 데이터 구조로 저장하여 효율적인 랭크/선택 연산과 이웃 조사(query)를 가능하게 한다.
• 경로 표현에 대해 압축된 FM-색인으로 dbgfm을 구축하여, k-머당 2n 비트 이론 하한에 근접한 공간 사용을 달성한다.
• ABySS 어셈블러에 dbgfm을 통합하기 위해 해시 테이블을 FM-색인 기반 구조로 대체함으로써 功能를 유지하면서도 메모리 소비를 줄인다.

실험 결과

연구 질문

• RQ1 내비게이션 데이터 구조를 사용하여 de Bruijn 그래프를 표현하기 위한 이론적 최소 공간은 얼마이며, 기존 알려진 상한과 비교해 볼 때 어떻게 되는가?
• RQ2 실제 de Bruijn 그래프의 구조적 특성—특히 장거리 단순 경로로의 분해—을 활용하여 더 메모리 효율적인 표현 방식을 설계할 수 있는가?
• RQ3 빈도 기반 최소화자가 사전순서나 무작위 순서보다 메모리 사용을 줄이는 데 더 우수한 성능을 보일 수 있는가?
• RQ4 실제로 de Bruijn 그래프 표현의 공간 사용을 얼마나 줄일 수 있으며, k-머당 2n 비트의 이론 하한에 얼마나 가까이 접근할 수 있는가?
• RQ5 dbgfm과 같은 저메모리 데이터 구조가 기존 어셈블러 파이프라인에 성공적으로 통합되어 기능성이나 성능을 손상시키지 않고도 사용될 수 있는가?

주요 결과

• 논문은 어떤 내비게이션 데이터 구조라도 3.24n 비트의 이론적 하한을 증명하며, 이러한 접근의 한계를 드러낸다.
• 선형 de Bruijn 그래프(단순 경로)에서는 내비게이션 및 일반 데이터 구조 모두 k-머당 2n 비트를 달성할 수 있으며, 이는 이론적 하한과 정확히 일치한다.
• dbgfm은 인간 전장 게놈 데이터셋에서 k-머당 4.76n 비트를 기록했고, 염색체 14에서는 3.53n 비트를 기록하여 이전 최고 수준의 방법보다 각각 46%와 60% 향상된 성능를 보였다.
• 빈도 기반 최소화자를 사용하여 인간 전장 게놈 de Bruijn 그래프를 오직 43 MB의 메모리로 압축하여 경로 열거의 높은 효율성을 입증했다.
• ABySS에 통합된 dbgfm은 sparsehash 구현 대비 메모리 사용을 70% 감소시켰지만, 실행 시간이 33% 증가하는 데에 비용이 들었다.
• dbgfm 내 그래프 구조는 총 메모리의 6%만을 차지했고, 해시 테이블 버전은 54%를 차지했으며, 이는 주로 압축된 표현 방식 덕분에 메모리 절감이 이루어졌음을 시사한다.