[논문 리뷰] SparseAssembler: de novo Assembly with the Sparse de Bruijn Graph

Chengxi Ye, Zhanshan Sam외 3명|arXiv (Cornell University)|2011. 06. 14.

Algorithms and Data Compression참고 문헌 13인용 수 7

한 줄 요약

SparseAssembler는 중간 k-머리들을 건너뛰는 희박한 de Bruijn 그래프 구조를 도입하여 메모리 사용량을 줄이며, g=16일 때 표준 방법 대비 약 10% 수준으로 저장 요구량을 감소시킵니다. 이는 치환 오류의 99% 이상을 제거하는 노이즈 제거 알고리즘과 다이크스트라 유사 너비 우선 탐색을 통한 다형성 및 잔류 오류 해결을 통합하여 대규모 데이터셋에서도 효율적인 *de novo* 게놈 어셈블리가 가능하게 합니다.

ABSTRACT

de Bruijn graph-based algorithms are one of the two most widely used approaches for de novo genome assembly. A major limitation of this approach is the large computational memory space requirement to construct the de Bruijn graph, which scales with k-mer length and total diversity (N) of unique k-mers in the genome expressed in base pairs or roughly (2k+8)N bits. This limitation is particularly important with large-scale genome analysis and for sequencing centers that simultaneously process multiple genomes. We present a sparse de Bruijn graph structure, based on which we developed SparseAssembler that greatly reduces memory space requirements. The structure also allows us to introduce a novel method for the removal of substitution errors introduced during sequencing. The sparse de Bruijn graph structure skips g intermediate k-mers, therefore reducing the theoretical memory space requirement to ~(2k/g+8)N. We have found that a practical value of g=16 consumes approximately 10% of the memory required by standard de Bruijn graph-based algorithms but yields comparable results. A high error rate could potentially derail the SparseAssembler. Therefore, we developed a sparse de Bruijn graph-based denoising algorithm that can remove more than 99% of substitution errors from datasets with a \leq 2% error rate. Given that substitution error rates for the current generation of sequencers is lower than 1%, our denoising procedure is sufficiently effective to safeguard the performance of our algorithm. Finally, we also introduce a novel Dijkstra-like breadth-first search algorithm for the sparse de Bruijn graph structure to circumvent residual errors and resolve polymorphisms.

연구 동기 및 목표

• 기존 de Bruijn 그래프 기반 *de novo* 게놈 어셈블리의 높은 메모리 사용량 문제를 해결하기 위해, 특히 대규모 또는 다중 게놈 시퀀싱 프로젝트에서의 적용을 목적으로 합니다.
• 중간 k-머리들을 건너뛰는 희박한 표현 방식을 도입하여 k-머리의 저장 및 처리에 따른 계산 비용을 감소시킵니다.
• 고속 시퀀싱 데이터에서 발생하는 치환 오류를 효과적으로 보정하는 방법을 개발하여 오류를 제거합니다.
• 잔류 오류와 유전적 다형성에도 불구하고 정확한 게놈 재구성 가능성을 확보하기 위해 새로운 그래프 탐색 알고리즘을 개발합니다.

제안 방법

• g개의 중간 k-머리들을 건너뛰는 희박한 de Bruijn 그래프 구조를 제안하여, 이론적 메모리 사용량을 (2k+8)N에서 약 (2k/g+8)N 비트로 감소시킵니다.
• 희박한 그래프 구조를 기반으로 한 노이즈 제거 알고리즘을 적용하여 치환 오류를 식별하고 제거하며, 오류율 ≤2%인 경우 99% 이상의 오류 제거 성능을 달성합니다.
• 희박한 de Bruijn 그래프에 특화된 다이크스트라 유사 너비 우선 탐색 알고리즘을 도입하여 오류 및 다형성으로 인한 경로 모호성을 해결합니다.
• 메모리 절감과 어셈블리 정확도의 균형을 고려해 실용적인 g=16 값을 적용하여 표준 방법 대비 약 10% 수준의 메모리 사용량을 달성하고, 유사한 성능을 유지합니다.
• 희박한 그래프 구조를 활용해 de Bruijn 그래프를 효율적으로 표현하고 탐색함으로써 저장 및 계산 오버헤드를 최소화합니다.

실험 결과

연구 질문

• RQ1 de Bruijn 그래프의 희박한 표현 방식이 정확도를 희생시키지 않고 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 그래프 기반 노이즈 제거 접근법을 통해 고속 시퀀싱 데이터의 치환 오류를 어느 정도 제거할 수 있는가?
• RQ3 새로운 그래프 탐색 알고리즘이 희박한 de Bruijn 그래프에서 다형성과 잔류 오류를 효과적으로 해결할 수 있는가?
• RQ4 표준 de Bruijn 그래프 방법 대비 희박한 de Bruijn 그래프의 메모리 효율성 및 어셈블리 품질 측면에서 성능은 어떠한가?

주요 결과

• g=16를 사용할 경우, SparseAssembler는 표준 de Bruijn 그래프 기반 방법 대비 약 10% 수준의 메모리 사용량을 기록하면서도 동등한 어셈블리 품질을 유지합니다.
• 노이즈 제거 알고리즘이 오류율 ≤2%인 데이터셋에서 치환 오류의 99% 이상을 성공적으로 제거하였으며, 현재 시퀀서 오류율이 1% 미만임을 고려하면 매우 효과적입니다.
• 다이크스트라 유사 너비 우선 탐색 알고리즘이 희박한 그래프에서 견고한 경로 재구성 기능을 제공하여 다형성과 잔류 오류를 효과적으로 해결합니다.
• 희박한 de Bruijn 그래프 구조는 이론적 메모리 요구량을 (2k+8)N에서 g=16일 경우 약 (2k/g+8)N 비트로 감소시켜 상당한 메모리 절감 효과를 보입니다.