[論文レビュー] Cloudbreak: Accurate and Scalable Genomic Structural Variation Detection in the Cloud with MapReduce

Christopher W. Whelan, Jeffrey Tyner+4 more|arXiv (Cornell University)|Jul 9, 2013

Genomic variations and chromosomal abnormalities参考文献 2被引用数 7

ひとこと要約

Cloudbreak は、Hadoop を使用した MapReduce フレームワークに基づくスケーラブルでクラウドベースのゲノム構造的変異（SV）検出ツールであり、大規模なシーケンシングデータにおける欠失および挿入の高速かつ高精度な検出を可能にします。ゲノムのバイン単位で局所的特徴を計算し、ガウス・ミクスチャーモデルを用いてリードペア、リード深度、スプリットリード信号を統合することで、シミュレート済みおよび実際のデータセットにおいて顕著な高速化を達成しながら高い正確性を維持しています。また、オンデマンドでのクラウドクラスターデプロイをサポートしています。

ABSTRACT

The detection of genomic structural variations (SV) remains a difficult challenge in analyzing sequencing data, and the growing size and number of sequenced genomes have rendered SV detection a bona fide big data problem. MapReduce is a proven, scalable solution for distributed computing on huge data sets. We describe a conceptual framework for SV detection algorithms in MapReduce based on computing local genomic features, and use it to develop a deletion and insertion detection algorithm, Cloudbreak. On simulated and real data sets, Cloudbreak achieves accuracy improvements over popular SV detection algorithms, and genotypes variants from diploid samples. It provides dramatically shorter runtimes and the ability to scale to big data volumes on large compute clusters. Cloudbreak includes tools to set up and configure MapReduce (Hadoop) clusters on cloud services, enabling on-demand cluster computing. Our implementation and source code are available at http://github.com/cwhelan/cloudbreak .

研究の動機と目的

• 高スループットのシーケンシングデータにおける構造的変異検出の計算負荷の増大に対処すること。
• クラウドコンピューティングリソースを活用したスケーラブルで分散処理可能な SV 検出ソリューションの開発。
• 統計的モデリングを用いてリードペア、リード深度、スプリットリードの複数のシーケンシング信号を統合することで、欠失および挿入の検出精度を向上させること。
• クラウドプラットフォーム上で Hadoop クラスタをオンデマンドでデプロイ可能にする仕組みを提供し、アクセス可能でエラスティックなゲノム解析を実現すること。
• ゲノム解析に適したモジュラーサイズのオープンソースソフトウェアスタックを提供し、ゲノムファイルフォーマットの標準形式との相互運用性を確保すること。

提案手法

• フレームワークは、クラスタにわたるゲノム解析を分散処理する MapReduce アーキテクチャを採用しており、ゲノムを固定サイズのバインに分割して並列処理を実行する。
• マッパーは各バインごとにリードペアの不一致、リード深度、スプリットリードマッピングなどの局所的ゲノム特徴を抽出し、キー・バリューのペアを出力する。
• リダーサーは各バインごとの特徴を集約し、リードペアの挿入サイズの分布をモデル化するためにガウス・ミクスチャーモデル（GMM）を適用し、SV を示す乖離を検出する。
• 正常分布と SV 影響下の分布の間の尤度比を計算し、しきい値ベースの意思決定ルールを用いてバリアントを呼び出す。
• 複数のアライメントフォーマット（SAM、BWA、Novoalign）をサポートし、スケーラブルなデータストレージのため Hadoop 分散ファイルシステム（HDFS）と統合する。
• クラスタのプロビジョニング（Whirr を介して）、データエクスポート（BED、BigWig、wig）、デバッグ（例：dumpReadsWithScores、debugReadPairInfo）のためのツールをパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 MapReduce ベースのフレームワークは、大規模なゲノムデータセットにスケーラブルに拡張しつつも、構造的変異の検出において高い正確性を達成できるか？
• RQ2 リードペア、リード深度、スプリットリードの複数の SV 信号を統合することで、単一信号手法と比較して検出正確性がどの程度向上するか？
• RQ3 クラウドにおける分散コンピューティングにより、感度や正確性を損なわず、SV 検出のランタイムをどの程度短縮できるか？
• RQ4 モジュラーでオープンソースのソフトウェアスタックを設計することで、ゲノムワークロード向けに Hadoop クラスタをオンデマンドでデプロイ可能にすることができるか？
• RQ5 ガウス・ミクスチャーモデル（GMM）は、多様なシーケンシングデータに対して、信頼性の高い SV キャリッジを実現するための挿入サイズ分布のモデル化にどの程度有効か？

主な発見

• Cloudbreak は、シミュレート済みおよび実際のシーケンシングデータセットにおいて、代表的な SV 検出ツールと比較して高い正確性を示しており、特に小規模な欠失および挿入の検出において優れた性能を発揮している。
• 従来の単一ノードの SV パイプラインと比較して、ランタイムを顕著に短縮しており、コンsumer クラウドインfraストラクチャ上でも大規模データセットの解析が可能である。
• 中央値フィルター（デフォルトのウィンドウサイズ 5）とカバレッジフィルタリングの適用により、低カバレッジ領域付近の誤検出を低減し、コール品質が向上した。
• GMM を用いた尤度比スコアリング手法は、ノイズと真の SV を効果的に区別でき、バリアントコールのデフォルトしきい値は 1.68 であった。
• フレームワークはドーピング・サンプルのゲノタイピングをサポートしており、ヘテロ・およびホモ・ジゴティックなバリアントの検出が可能である。
• HDFS データ管理、クラスタープロビジョニング（launchCluster）、S3 へのアップロード（copyToS3）のためのツールが統合されているため、クラウド環境におけるエンドツーエンドでスケーラブルな解析が実現している。