[논문 리뷰] Cloudbreak: Accurate and Scalable Genomic Structural Variation Detection in the Cloud with MapReduce

Christopher W. Whelan, Jeffrey Tyner외 4명|arXiv (Cornell University)|2013. 07. 09.

Genomic variations and chromosomal abnormalities참고 문헌 2인용 수 7

한 줄 요약

Cloudbreak는 Hadoop 기반 MapReduce 프레임워크를 사용하여 클라우드 기반으로 확장 가능한 유전체 구조적 변동(SV) 검출 도구로, 대규모 시퀀싱 데이터에서 삭제 및 삽입을 신속하고 정확하게 검출할 수 있다. 이 도구는 유전체 밴드 단위로 국소적 특징을 계산하고, 가우시안 혼합 모델(Gaussian Mixture Models)을 통해 리드 페어, 리드 깊이, 분할 리드 신호를 통합하며, 시뮬레이션 및 실제 데이터셋에서 높은 정확도를 유지하면서도 상당한 속도 향상을 이룬다. 또한 클라우드 기반의 온디맨드 클러스터 배포를 지원한다.

ABSTRACT

The detection of genomic structural variations (SV) remains a difficult challenge in analyzing sequencing data, and the growing size and number of sequenced genomes have rendered SV detection a bona fide big data problem. MapReduce is a proven, scalable solution for distributed computing on huge data sets. We describe a conceptual framework for SV detection algorithms in MapReduce based on computing local genomic features, and use it to develop a deletion and insertion detection algorithm, Cloudbreak. On simulated and real data sets, Cloudbreak achieves accuracy improvements over popular SV detection algorithms, and genotypes variants from diploid samples. It provides dramatically shorter runtimes and the ability to scale to big data volumes on large compute clusters. Cloudbreak includes tools to set up and configure MapReduce (Hadoop) clusters on cloud services, enabling on-demand cluster computing. Our implementation and source code are available at http://github.com/cwhelan/cloudbreak .

연구 동기 및 목표

• 고속 유전자 시퀀싱 데이터에서의 구조적 변동 검출에 따른 증가하는 계산 부담을 해결하기 위해.
• 클라우드 컴퓨팅 자원을 활용한 확장 가능하고 분산된 SV 검출 솔루션을 개발하기 위해.
• 통계 모델링을 통해 리드 페어, 리드 깊이, 분할 리드 등의 다중 시퀀싱 신호를 통합하여 삭제 및 삽입 검출의 정확도를 향상시키기 위해.
• 클라우드 플랫폼에서 Hadoop 클러스터를 온디맨드로 배포할 수 있도록 하여 접근성과 유연성을 확보하기 위해.
• 지능형 유전체 파일 포맷과의 상호운용성을 지원하고, 타협 없는 모듈러한 오픈소스 소프트웨어 스택을 제공하기 위해.

제안 방법

• 프레임워크는 유전체 분석을 클러스터에 분산하기 위해 MapReduce 기반 아키텍처를 사용하며, 게놈을 고정 크기의 밴드로 나누어 병렬 처리한다.
• 맵퍼는 각 밴드당 리드 페어 비일치, 리드 깊이, 분할 리드 매핑 등의 국소적 유전체 특징을 추출하고 키-밸류 쌍을 출력한다.
• 리듀서는 각 밴드의 특징을 집계하고, 리드 페어 삽입 크기 분포를 모델링하기 위해 가우시안 혼합 모델(GMM)을 적용하여 SV를 나타내는 이심을 탐지한다.
• 정상 및 SV 영향을 받은 분포 간의 가능도 비율을 계산하여 변이를 호출하며, 임계값 기반 의사결정 규칙을 사용한다.
• SAM, BWA, Novoalign 등의 다양한 정렬 형식을 지원하며, 확장 가능한 데이터 저장을 위해 Hadoop 분산 파일 시스템(HDFS)과 통합한다.
• 클러스터 프로비저닝(Whirr를 통한), 데이터 내보내기(BED, BigWig, wig), 디버깅(예: dumpReadsWithScores, debugReadPairInfo)을 위한 도구를 포함한 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 MapReduce 기반 프레임워크는 대규모 유전체 데이터셋에서 효율적으로 확장되면서도 높은 정확도로 구조적 변동을 검출할 수 있는가?
• RQ2 리드 페어, 리드 깊이, 분할 리드 등의 다중 SV 신호 통합은 단일 신호 방법에 비해 검출 정확도를 얼마나 향상시키는가?
• RQ3 클라우드에서의 분산 처리는 감도나 정밀도를 희생시키지 않고도 SV 검출의 런타임을 얼마나 줄일 수 있는가?
• RQ4 모듈러하고 오픈소스 기반의 소프트웨어 스택을 설계하여 유전체 워크로드에 대한 Hadoop 클러스터의 온디맨드 배포를 가능하게 할 수 있는가?
• RQ5 가우시안 혼합 모델(GMM)은 다양한 시퀀싱 데이터에서 삽입 크기 분포를 신뢰할 만하게 모델링하여 안정적인 SV 호출을 가능하게 하는가?

주요 결과

• Cloudbreak는 시뮬레이션 및 실제 시퀀싱 데이터셋에서 기존의 유명한 SV 검출 도구들보다 더 높은 정확도를 달성했으며, 특히 작은 삭제 및 삽입을 검출하는 데서 뛰어난 성능을 보였다.
• 기존의 단일 노드 기반 SV 파이프라인에 비해 런타임을 크게 단축시켜, 일반 클라우드 인프라에서 대규모 데이터셋의 분석을 가능하게 했다.
• 중앙값 필터(기본 윈도우 크기 5)와 커버리지 필터링을 통해 저커버리지 영역 근처의 잘못된 양성 결과를 줄여 콜 품질을 향상시켰다.
• GMM 기반 가능도 비율 점수 방법은 노이즈에서 진짜 SV를 효과적으로 구분하며, 변이 호출에 기본 임계값 1.68를 사용한다.
• 프레임워크는 이형접합 및 동형접합 변이를 검출할 수 있도록 이배체 샘플의 게놈 타이핑을 지원한다.
• HDFS 데이터 관리, 클러스터 프로비저닝(launchCluster), S3 업로드(copyToS3) 도구의 통합을 통해 클라우드 환경에서 종단 간 확장 가능한 분석을 가능하게 했다.