[논문 리뷰] A Reference-Free Algorithm for Computational Normalization of Shotgun Sequencing Data

C. Titus Brown, Adina Howe외 3명|arXiv (Cornell University)|2012. 03. 21.

Genomics and Phylogenetic Studies참고 문헌 36인용 수 240

한 줄 요약

이 논문은 참조 없이 한 번의 스캔만으로 시퀀싱 데이터 크기를 줄이는 디지털 정규화를 소개한다. 이 알고리즘은 반복적이고 고카버리지 읽기 및 오류를 제거함으로써, 참조 게놈이 없이도 컨티그 내용을 손상시키지 않은 채 메모리와 시간 요구량을 낮춘다. 이는 미생생물, 단세포 및 전사체 데이터셋에서 최대 90%의 데이터 감소를 달성하고, 고정 메모리 k-mer 카운팅을 사용해 데노바 어셈블리의 효율성을 크게 향상시킨다.

ABSTRACT

Deep shotgun sequencing and analysis of genomes, transcriptomes, amplified single-cell genomes, and metagenomes has enabled investigation of a wide range of organisms and ecosystems. However, sampling variation in short-read data sets and high sequencing error rates of modern sequencers present many new computational challenges in data interpretation. These challenges have led to the development of new classes of mapping tools and {\em de novo} assemblers. These algorithms are challenged by the continued improvement in sequencing throughput. We here describe digital normalization, a single-pass computational algorithm that systematizes coverage in shotgun sequencing data sets, thereby decreasing sampling variation, discarding redundant data, and removing the majority of errors. Digital normalization substantially reduces the size of shotgun data sets and decreases the memory and time requirements for {\em de novo} sequence assembly, all without significantly impacting content of the generated contigs. We apply digital normalization to the assembly of microbial genomic data, amplified single-cell genomic data, and transcriptomic data. Our implementation is freely available for use and modification.

연구 동기 및 목표

• 미생물, 단세포 및 전사체 자료에서 유도된 대용량이고 오류가 많은 샷건 시퀀싱 데이터셋을 분석하는 데 발생하는 계산적 과제를 해결하기 위해.
• 참조 게놈이 필요 없이 데노바 어셈블리의 데이터 크기와 계산 부담을 줄이기 위해.
• 단일 스캔 정규화 과정을 통해 고카버리지 데이터셋의 샘플링 변동성과 시퀀싱 오류를 최소화하기 위해.
• 메타게놈 및 단세포 게놈과 같은 복잡하고 비율이 불균형한 데이터셋의 효율적인 어셈블리 가능성을 제공하기 위해.
• 생물학적 내용을 유지하면서 반복적이고 잘못된 읽기를 제거하는 고정 메모리 알고리즘 개발을 위해.

제안 방법

• 디지털 정규화는 고정 메모리 내에서 원시 읽기의 단일 스캔를 통해 CountMin Sketch 데이터 구조를 사용해 k-mer를 카운트한다.
• 고카버리지 k-mer를 가진 읽기를 점진적으로 제거함으로써 평균 카버리지를 사용자가 정의한 임계값으로 정규화한다.
• 알고리즘은 참조 서열 없이도 k-mer 빈도를 기반으로 반복적이고 오류가 많은 읽기를 식별하고 제거한다.
• 실험적 정규화 원리를 활용하지만, 이를 후처리 계산으로 적용하여 데이터 양을 줄인다.
• 정규화 후에도 비정규화된 읽기에서의 농도 정보를 유지하므로 생물학적 신호를 복구할 수 있다.
• 구현은 성능 향상을 위해 C++를 사용하고 스크립팅을 위해 Python을 사용하는 khmer 소프트웨어 패키지에 통합되어 있다.

실험 결과

연구 질문

• RQ1 참조가 없는 단일 스캔 알고리즘이 게놈에 대한 사전 지식 없이 샷건 시퀀싱의 데이터 크기와 오류 내용을 효과적으로 줄일 수 있는가?
• RQ2 다양한 시퀀싱 데이터셋에서 디지털 정규화가 데노바 어셈블리의 메모리 및 실행 시간 요구량을 얼마나 줄이는가?
• RQ3 정규화된 데이터로 생성된 어셈블리가 비정규화된 데이터와 비교해 생물학적 내용을 얼마나 잘 유지하는가?
• RQ4 디지털 정규화가 메타게놈과 같은 복잡한 혼합물에서 희귀하거나 저농도의 시퀀스를 재구성하는 능력을 유지하는가?
• RQ5 정규화된 어셈블리에서 데이터 감소와 시퀀스 신규성 유지 사이의 최적의 균형은 무엇인가?

주요 결과

• 디지털 정규화는 E. coli, S. aureus, Deltaproteobacteria, 효모 및 마우스 mRNAseq 데이터셋에서 최대 90%의 데이터 감소를 달성했다.
• 데노바 어셈블리의 피크 메모리 사용량과 실행 시간이 최대 80% 감소했으며, 컨티그 내용에 유의미한 손실가 없었다.
• BLASTN 정렬을 통해 측정한 결과, 정규화된 데이터로 생성된 어셈블리와 비정규화된 데이터로 생성된 어셈블리 간의 겹침 비율이 95~99%에 달했다.
• 중간 k-mer 수와 매핑 커버리지 간의 상관계수가 매우 높았으며(R² > 0.9), 시퀀스 농도의 정확한 표현을 나타냈다.
• E. coli의 경우, 정규화된 데이터에서는 k-mer 길이 37에서 성공적인 어셈블리가 가능했고, 비정규화된 데이터에서는 45에서 가능했으며, 이는 효율성이 향상되었음을 시사한다.
• 이 방법은 단세포 확대 게놈 및 전사체에서도 효과적이었으며, 계산 비용을 줄이면서도 핵심 생물학적 특징을 유지했다.