[논문 리뷰] SMaSH: A Benchmarking Toolkit for Human Genome Variant Calling

Ameet Talwalkar, Jesse Liptrap외 8명|arXiv (Cornell University)|2013. 10. 31.

Genomics and Phylogenetic Studies참고 문헌 22인용 수 8

한 줄 요약

SMaSH는 인간 게놈 변이 호출을 위한 표준화된 벤치마킹 툴킷으로, 합성 데이터, 마우스 데이터, 실제 인간 데이터셋을 통합하여 정확도 및 계산 성능를 평가한다. 기존 벤치마킹의 일관성 부족 문제를 해결하기 위해 정제된 데이터, 노이즈 인식 정확도 지표, 재현 가능한 평가를 제공하며, 다양한 데이터셋에서 SNP 및 구조적 변이 호출기 성능의 상당한 변동성을 입증한다.

ABSTRACT

Motivation: Computational methods are essential to extract actionable information from raw sequencing data, and to thus fulfill the promise of next-generation sequencing technology. Unfortunately, computational tools developed to call variants from human sequencing data disagree on many of their predictions, and current methods to evaluate accuracy and computational performance are ad-hoc and incomplete. Agreement on benchmarking variant calling methods would stimulate development of genomic processing tools and facilitate communication among researchers. Results: We propose SMaSH, a benchmarking methodology for evaluating human genome variant calling algorithms. We generate synthetic datasets, organize and interpret a wide range of existing benchmarking data for real genomes, and propose a set of accuracy and computational performance metrics for evaluating variant calling methods on this benchmarking data. Moreover, we illustrate the utility of SMaSH to evaluate the performance of some leading single nucleotide polymorphism (SNP), indel, and structural variant calling algorithms. Availability: We provide free and open access online to the SMaSH toolkit, along with detailed documentation, at smash.cs.berkeley.edu.

연구 동기 및 목표

• 인간 게놈 변이 호출 도구에 대한 일관되고 재현 가능한 벤치마킹 기준의 부족 문제를 해결하기 위해.
• 실제 게놈과 합성 시뮬레이션에서 유래한 다각적인 벤치마킹 데이터를 하나의 접근하기 쉬운 프레임워크로 통합하기 위해.
• 검증 데이터의 완벽하지 않은 참값을 고려한 노이즈 인식 정확도 지표를 개발하기 위해.
• 정확도 외에도 런타임, 비용, 자원 사용량 등의 계산 성능 지표를 포함하여 도구 평가를 종합적으로 수행하기 위해.
• 표준화된 평가 프로토콜을 통해 다양한 변이 호출기 간 공정하고 재현 가능한 비교를 가능하게 하기 위해.

제안 방법

• SMaSH는 제어 가능한 벤치마크로 사용하기 위해 알려진 변이를 가진 합성 인간 게놈 데이터셋을 생성한다.
• NA12878, Venter, NA18575 등의 프로젝트에서 유래한 기존의 실제 벤치마킹 데이터를 통합하고 정제한다. 이는 오염된 샘플과 고피치 샘플을 포함한다.
• Sanger 시퀀싱 및 SNP 칩에서 알려진 오류율을 고려한 노이즈 인식 정밀도 및 재현율 지표를 적용한다.
• 예측된 결과와 참값 호출 간 VCF 형식의 일관성 문제를 해결함으로써 변이 표현을 표준화한다.
• 구조적 변이에 대해 정확한 매칭과 브레이크포인트 허용 매칭을 모두 평가하며, 허용 임계치(예: 장거리 삽입에 대해 100bp)를 적용한다.
• 다양한 하드웨어 구성에서 시계 시간, CPU 시간, 메모리 사용량, 디스크 사용량, 클라우드 비용 추정치를 통해 계산 성능을 추적한다.

실험 결과

연구 질문

• RQ1 다양한 실제 및 합성 인간 게놈 데이터셋에서 주요 SNP 및 구조적 변이 호출기의 정밀도 및 재현율은 어떻게 평가되는가?
• RQ2 참값 데이터의 노이즈(예: Sanger 시퀀싱 오류)가 정확도 지표에 어떤 영향을 미치며, 이를 벤치마킹에서 어떻게 보정할 수 있는가?
• RQ3 런타임, 메모리 사용량, 클라우드 비용 등의 계산 성능 지표는 다양한 변이 호출기와 데이터셋 간에 어떻게 변동하는가?
• RQ4 도구와 참값 데이터 간의 변이 표현은 얼마나 일관성이 있으며, 평가 결과에 어떤 영향을 미치는가?
• RQ5 통합된 벤치마킹 프레임워크는 변이 호출 도구 평가의 재현성과 비교 가능성에 어떤 영향을 미칠 수 있는가?

주요 결과

• Pindel은 Venter 데이터셋에서 100bp 허용 범위를 적용한 근사 평가를 통해 장거리 삽입에 대해 71.7%의 정밀도와 71.7%의 재현율을 기록했지만, BreakDancer는 정밀도 4.2%, 재현율 0.0%에 그쳤다.
• 오염된 Venter 데이터셋에서 Pindel은 400시간 이상이 소요되었고 클라우드 비용이 1000달러 이상이었으며, 정확한 호출이 전혀 없었다. 반면 BreakDancer는 정밀도와 재현율이 모두 0.0%였다.
• NA12878 데이터셋에서 Pindel은 81시간이 소요되고 비용이 203달러였으며, 재현율은 0.0%였다. 반면 BreakDancer는 재현율 0.0%를 기록했고 런타임은 3시간 뿐이었다.
• NA19240 데이터셋에서 BreakDancer는 재현율 0.0%와 29시간의 런타임을 기록했고, Pindel은 221시간이 소요되고 비용이 552달러였으며, 정확한 호출이 없었다.
• 툴킷 분석 결과, 계산 비용과 런타임은 매우 다양하게 변동하는 것으로 나타났다. GATK는 NA19240에서 최대 434시간의 CPU 시간과 418달러의 클라우드 비용을 사용했지만, mpileup는 훨씬 적은 시간과 비용을 사용했다.
• BreakDancer는 낮은 메모리 및 디스크 사용량으로 다양한 데이터셋에서 가장 일관된 성능를 보였지만, 실제 데이터에서 재현율이 낮아 고도의 거짓 음성 비율을 보였다.