[논문 리뷰] META-pipe - Pipeline Annotation, Analysis and Visualization of Marine Metagenomic Sequence Data

Espen Mikal Robertsen, Tim Kahlke외 6명|arXiv (Cornell University)|2016. 04. 14.

Scientific Computing and Data Management참고 문헌 43인용 수 14

한 줄 요약

META-pipe는 분산 컴퓨팅 및 스토리지 리소스를 활용하여 전처리, 어셈블리, 분류 및 기능 주석을 통합한 확장성 있고 클라우드 통합된 해양 메타게놈 데이터 분석을 위한 파이프라인입니다. Galaxy 및 슈퍼컴퓨터 인프라와 같은 기존 프레임워크를 활용하여 효율적이고 상호작용 가능한 시각화 및 워크플로우 실행을 가능하게 하며, 대규모 해양 메타게놈 분석 프로젝트에 높은 성능과 확장성을 보여줍니다.

ABSTRACT

The marine environment is one of the most important sources for microbial biodiversity on the planet. These microbes are drivers for many biogeochemical processes, and their enormous genetic potential is still not fully explored or exploited. Marine metagenomics (DNA shotgun sequencing), not only offers opportunities for studying structure and function of microbial communities, but also identification of novel biocatalysts and bioactive compounds. However, data analysis, management, storage, processing and interpretation are significant challenges in marine metagenomics due to the high diversity in samples and the size of the marine flagship projects. We provide a new pipeline, META-pipe, for marine metagenomics analysis. It offers pre- processing, assembly, taxonomic classification and functional analysis. To reduce the effort to develop and deploy it, we have integrated existing biological analysis frameworks, and compute and storage infrastructure resources. Our current META-pipe web service provides integration with identity provider services, distributed storage, computation on a Supercomputer, Galaxy workflows, and interactive data visualizations. We have evaluated the scalability and performance of the analysis pipeline. Our results demonstrate how to develop and deploy a pipeline on distributed compute and storage resources, and discusses important challenges related to this process.

연구 동기 및 목표

• 높은 미생물 다양성을 지닌 대규모 해양 메타게놈 데이터셋을 관리하고 처리하며 분석하는 데 도전 과제를 해결하기 위해.
• 기존 생물정보학 프레임워크 및 분산 인프라와의 통합을 통해 메타게놈 분석 파이프라인의 배포 및 유지보수 복잡성을 줄이기 위해.
• Galaxy 워크플로우 및 분산 스토리지 기반으로 상호작용 가능하고 확장성 있고 재현 가능한 해양 메타게놈 데이터 분석을 가능하게 하기 위해.
• 종합적인 기능 및 분류 주석을 제공하여 새로운 미생물 기능과 생체촉매를 발견하는 데 지원하기 위해.

제안 방법

• 기존 생물정보학 도구를 사용하여 전처리, 시퀀스 어셈블리, 분류 및 기능 주석을 하나의 워크플로우로 통합합니다.
• 고성능 계산을 위해 슈퍼컴퓨터를 활용하고 확장 가능한 데이터 처리를 위해 분산 스토리지 사용합니다.
• 웹 기반 인터페이스에 대한 보안적 액세스 및 인증을 위해 신원 제공자 서비스를 사용합니다.
• 재현 가능하고 모듈화된 분석 파이프라인을 가능하게 하기 위해 Galaxy 워크플로우를 통합합니다.
• 분류 및 기능 프로파일의 실시간 탐색을 지원하기 위해 상호작용 가능한 데이터 시각화를 구현합니다.
• 확장 가능하도록 설계되어 새로운 도구 및 분석 모듈의 통합을 허용합니다.

실험 결과

연구 질문

• RQ1 대규모 해양 메타게놈 데이터셋의 계산 및 스토리지 요구사항을 처리할 수 있는 확장성 있고 분산된 파이프라인을 어떻게 설계할 수 있는가?
• RQ2 기존 생물정보학 도구를 고성능 컴퓨팅 및 클라우드 스토리지와 효율적으로 통합하는 데에 적합한 아키텍처 패턴은 무엇인가?
• RQ3 이 파이프라인은 메타게놈 데이터의 재현성, 보안성 및 상호작용 가능한 탐색을 어떻게 지원하는가?
• RQ4 실제 해양 메타게놈 분석 워크로드 하에서 이 파이프라인은 어떤 성능 및 확장성 특성을 보이는가?
• RQ5 이러한 파이프라인은 해양 환경에서 새로운 미생물 기능과 생체촉매를 발견하는 데 어떻게 기여하는가?

주요 결과

• 파이프라인은 분산 스토리지, 슈퍼컴퓨터 리소스, Galaxy 워크플로우를 성공적으로 통합하여 확장 가능한 메타게놈 분석을 가능하게 했습니다.
• META-pipe는 분류 및 기능 프로파일의 상호작용 가능한 시각화를 지원하여 데이터 해석을 향상시켰습니다.
• 시스템은 고성능과 확장성을 입증하여 대규모 해양 메타게놈 분석 프로젝트에 적합한 것으로 나타났습니다.
• 기존 프레임워크 및 인프라의 사용은 개발 오버헤드를 줄이고 유지보수성을 향상시켰습니다.
• 신원 제공자 통합을 통한 보안적 인증 액세스를 지원하여 협업 연구를 가능하게 했습니다.
• 아키텍처는 확장 가능하여 향후 새로운 도구 및 분석 모듈의 통합이 수월합니다.