[논문 리뷰] Twelve years of SAMtools and BCFtools

Petr Danecek, James Bonfield외 9명|arXiv (Cornell University)|2020. 12. 18.

Genomics and Phylogenetic Studies참고 문헌 19인용 수 2

한 줄 요약

이 논문은 고속 시퀀싱 데이터를 처리하는 데 핵심적인 역할을 하는 SAMtools와 BCFtools의 12년간의 발전을 검토한다. 이 도구들은 SAM/BAM/CRAM 정렬 파일과 VCF/BCF 변이 파일을 효율적으로 다룰 수 있도록 지원하며, 주요 기여 사항으로는 네이티브 다중 스레딩, CRAM 형식 지원, HTSlib 통합 등이 있다. 핵심 기여는 수백만 건의 분석에서 사용되는 성숙하고 고성능이며 널리 보급된 생물정보학 생태계이다.

ABSTRACT

BACKGROUND: SAMtools and BCFtools are widely used programs for processing and analysing high-throughput sequencing data. They include tools for file format conversion and manipulation, sorting, querying, statistics, variant calling, and effect analysis amongst other methods. FINDINGS: The first version appeared online 12 years ago and has been maintained and further developed ever since, with many new features and improvements added over the years. The SAMtools and BCFtools packages represent a unique collection of tools that have been used in numerous other software projects and countless genomic pipelines. CONCLUSION: Both SAMtools and BCFtools are freely available on GitHub under the permissive MIT licence, free for both non-commercial and commercial use. Both packages have been installed >1 million times via Bioconda. The source code and documentation are available from https://www.htslib.org.

연구 동기 및 목표

• 12년간의 활발한 유지보수 기간 동안 SAMtools와 BCFtools의 발전과 지속적인 개발을 기록하기 위해.
• 점점 더 큰 규모의 시퀀싱 데이터셋을 효율적으로 처리할 수 있도록 하는 기술적 진보를 부각하기 위해.
• 다양한 유전체 프로젝트와 소프트웨어 생태계에서의 도구의 보급과 통합을 보여주기 위해.
• 대규모 게놈과 복잡한 변이 표현 방식을 지원하기 위한 향후 과제와 계획된 확장 사항을 제시하기 위해.

제안 방법

• 저자들은 GitHub에서의 버전 제어 커밋, 기능 릴리스, 사용자 피드백을 분석하여 SAMtools와 BCFtools의 발전 과정을 역행적으로 분석하였다.
• 다양한 릴리스 간의 핵심 작업(정렬, 색인, 변이 호출 등)에 대한 벤치마킹을 통해 성능 향상을 평가하였다.
• 도구들은 C 프로그래밍 언어로 구현되었으며, 저수준 I/O 및 데이터 포맷 처리를 위해 HTSlib에 의존하여 높은 속도와 낮은 메모리 사용량을 달성하였다.
• 지속적 통합 및 자동화된 테스트(Valgrind, AddressSanitizer, UndefinedBehaviorSanitizer 포함)를 통해 코드의 신뢰성과 이식성을 확보하였다.
• BCFtools의 플러그인 및 확장성 기능 통합을 통해 기능을 동적으로 확장할 수 있도록 하였으며, 이는 기능적 영향 예측 및 삼형제 기반 변이 분석과 같은 기능을 가능하게 하였다.
• 다양한 생물학적 데이터 유형(척추동물, 식물, 바이러스, 병원성 미생물 게놈 포함)에 대해 도구를 구현하고 평가하여 내구성과 확장성 여부를 점검하였다.

실험 결과

연구 질문

• RQ1 SAMtools와 BCFtools는 12년간의 개발 기간 동안 功能과 성능에서 어떻게 진화해 왔는가?
• RQ2 유전체 프로젝트의 데이터 크기와 복잡성이 증가함에 따라 도구들이 어떻게 확장성과 유연성을 확보했는가?
• RQ3 VEP 및 GATK와 같은 널리 사용되는 다른 도구들과 비교했을 때 SAMtools와 BCFtools의 성능 및 메모리 효율성은 어떠한가?
• RQ4 커뮤니티 주도의 개발과 오픈소스 기여가 도구의 기능 세트와 신뢰성 형성에 어떤 역할을 했는가?
• RQ5 대규모 게놈, 복잡한 변이, 새로운 시퀀싱 기술을 지원하기 위해 아직 남아 있는 과제는 무엇인가?

주요 결과

• SAMtools는 52개의 릴리스, BCFtools는 49개의 릴리스를 거쳤으며, SAMtools 저장소에 2,200건 이상의 커밋이 기록되었고, BCFtools에는 1,400개 이상의 테스트가 존재한다.
• 이 도구들은 이제 SAM, BAM, CRAM 파일의 읽기, 쓰기, 처리에 대해 네이티브 다중 스레딩을 지원하여 현대 하드웨어에서 성능 향상을 크게 개선하였다.
• BCFtools의 'csq' 명령어는 변이 영향 예측 기능에서 VEP 대비 100배 빠르고 메모리 사용량도 훨씬 적어 높은 효율성을 입증하였다.
• Bioconda를 통해 100만 건 이상의 설치가 이루어졌으며, GitHub에서 900건 이상의 지원 및 기능 요청 이슈가 해결되었다.
• 이 도구들은 대규모 게놈(>2 Gbases)과 복잡한 다형성 수준을 가진 생물 종, 특히 다형성 수준이 높은 유전자형에 대해서도 성공적으로 적용되었지만, 완전한 64비트 게놈 지원은 아직 부분적이다.
• BCFtools에선 고도로 다형성이 있는 영역에서 발생하는 4GB 사이트 제한 문제를 해결하기 위해 선형적으로 확장 가능한 어노테이션을 갖춘 VCF 형식의 확장 기능을 구현하였다.