[論文レビュー] KMC 3: counting and manipulating k-mer statistics

Marek Kokot, Maciej Długosz+1 more|arXiv (Cornell University)|Jan 27, 2017

Gene expression and cancer classification参考文献 3被引用数 5

ひとこと要約

KMC3は、改善されたI/O、新規のソーティングアルゴリズム、強化された並列処理を活用して、k-mer統計計算を大幅に高速化・メモリ効率を高めた高度に最適化されたk-merカウンティングアルゴリズムを導入する。従来のツールと比較して、処理時間を最大80%短縮し、メモリ使用量を最大90%削減する。KMCツールは、後続のバイオインフォマティクスワークフローにおけるk-merデータベースの効率的管理を可能にする。

ABSTRACT

Summary: Counting all k-mers in a given dataset is a standard procedure in many bioinformatics applications. We introduce KMC3, a significant improvement of the former KMC2 algorithm together with KMC tools for manipulating k-mer databases. Usefulness of the tools is shown on a few real problems. Availability: Program is freely available at http://sun.aei.polsl.pl/REFRESH/kmc. Contact: [e-mail]

研究の動機と目的

• 大規模ゲノムデータセットにおけるk-merカウンティングの計算ボトルネックを解消すること。
• 圧縮されたFASTQファイルにおけるk-merカウンティングのメモリ使用量を削減し、処理速度を向上させること。
• k-merデータベースの効率的管理を可能にするモジュラータイルキット（KMCツール）を開発すること。
• ゲノムアセンブリ、バリアント検出、繰り返し配列同定などの応用分野における、より高速でスケーラブルな分析パイプラインを実現すること。
• 実際のゲノムデータセットにおいて、既存のツールを上回る速度とメモリ効率を達成すること。

提案手法

• k-merをm-merシグネチャでバインングする2段階処理モデルを採用：まずk-merをバインに分類し、次に各バイン内で重複を除去するソート処理を実施。
• 圧縮済みFASTQファイルの最適化された読み込みと、効率的なシグネチャベースのバインニングにより、I/Oパフォーマンスを向上。
• KMC2で使用されていた基数ソートを、Kokotら（2016）が開発した新規で高速なソートアルゴリズムに置き換え、2段階目の処理を加速。
• ソート処理その他の操作における並列処理の強化により、マルチコアシステムの性能を最大限に活用。
• k-merデータベースに対するフィルタリング、変換、集合演算（例：和集合、積集合）を実行可能なKMCツールを導入。
• 複数のk-merデータベースを対象とした複合式を用いることで、高度なゲノム解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模ゲノムデータセットにおけるk-merカウンティングを、著しく高速化・メモリ効率を高めることは可能か？
• RQ2 実際のデータにおいて、KMC3のパフォーマンスはJellyfish、DSK2、Gerbil、KCMBTといった既存のk-merカウンティングツールと比べてどうか？
• RQ3 KMCツールは、k-merベースのゲノム解析応用分野におけるカスタムパイプラインをどの程度代替可能か？
• RQ4 KMC3およびそのツールは、エンドツーエンドのバイオインフォマティクスワークフローにおいて、実行時間とメモリ使用量の両方を削減できるか？
• RQ5 700 GBを超えるデータセットに対して、KMC3のスケーラビリティはどの程度か？

主な発見

• H. sapiens 3（3,729 GB）という最大のデータセットについて、KMC3はk=55の入力がgzip圧縮形式であっても100分未満でk-merカウンティングを完了し、k=55の処理に5,331秒を要した。
• G. gallusデータセットでは、KMC3が最も高速なツールであり、k=55の処理においてKMC2と比較して最大25%、Gerbilと比較して最大30%の時間短縮を達成した。
• H. sapiens 3のk=55において、KMC3はわずか34 GBのRAMを使用したが、KCMBTとJellyfishは128 GBのメモリ制限に達して凍結した。
• DIAMUNDケーススタディでは、KMCツールの導入により、処理時間は13時間から4時間に短縮され、RAM使用量は107 GBから12 GBに削減された。
• NIKSワークフローでは、処理時間は約40分から5分に短縮され、RAM使用量は92 GBから12 GBに削減された。
• GenomeTester4スタイルの実験では、処理時間は5時間から15分に短縮され、RAM使用量は75 GBから12 GBに削減された。