[論文レビュー] Memory Efficient De Bruijn Graph Construction

Yang Li, Pegah Kamousi+4 more|arXiv (Cornell University)|Jul 15, 2012

Algorithms and Data Compression参考文献 21被引用数 3

ひとこと要約

本稿では、k-merの重複を活用して、de Bruijnグラフ構築のパーティションサイズをΘ(kn)からΘ(n)に削減するディスクベースの手法であるMinimum Substring Partitioning (MSP)を提案する。これにより、10 GB未満のメモリで構築が可能となり、実行時遅延なしに高い圧縮率とパフォーマンスを達成し、大規模なゲノムデータセットにおいて既存のアルゴリズムを上回る性能を発揮する。

ABSTRACT

Massively parallel DNA sequencing technologies are revolutionizing genomics research. Billions of short reads generated at low costs can be assembled for reconstructing the whole genomes. Unfortunately, the large memory footprint of the existing de novo assembly algorithms makes it challenging to get the assembly done for higher eukaryotes like mammals. In this work, we investigate the memory issue of constructing de Bruijn graph, a core task in leading assembly algorithms, which often consumes several hundreds of gigabytes memory for large genomes. We propose a disk-based partition method, called Minimum Substring Partitioning (MSP), to complete the task using less than 10 gigabytes memory, without runtime slowdown. MSP breaks the short reads into multiple small disjoint partitions so that each partition can be loaded into memory, processed individually and later merged with others to form a de Bruijn graph. By leveraging the overlaps among the k-mers (substring of length k), MSP achieves astonishing compression ratio: The total size of partitions is reduced from $Θ(kn)$ to $Θ(n)$, where $n$ is the size of the short read database, and $k$ is the length of a $k$-mer. Experimental results show that our method can build de Bruijn graphs using a commodity computer for any large-volume sequence dataset.

研究の動機と目的

• 哺乳類ゲノムにおいて数百ギガバイトにのぼる場合が多い、denovoゲノムアセンブリにおけるde Bruijnグラフ構築の高メモリ使用量を低減すること。
• k-merの分散が不均一であるために、I/Oオーバーヘッドが大きく、圧縮効率が低いという問題を抱える既存のディスクベースのパーティショニング手法の限界を克服すること。
• 隣接するk-merが同じパーティションに配置されるように、重複するk-merを保持するパーティショニング戦略を開発すること。
• 10億個のリードを含む大規模データセットに対し、コンmodityハードウェア上でスケーラブルかつメモリ効率の良いde Bruijnグラフ構築を可能にすること。
• 提案手法が実行時遅延なしに低メモリ使用量と高いパフォーマンスを両立できることを実証すること。

提案手法

• 連続するk-mer間で共有される固定長の最小部分文字列（長さp ≤ k）に基づいて、短いリードをパーティション化するMinimum Substring Partitioning (MSP)を導入する。
• 最小部分文字列をキーとして用い、高い重複度を持つk-merをグループ化することで、隣接するk-merが同じパーティションに配置されるように保証する。
• ディスクベースのスキャッタ・ギャザーパイプラインを適用：最小部分文字列を用いてリードを互いに素な部分集合にパーティション分けし、各部分集合をメインメモリで処理した後、後処理で結果をマージする。
• k-merの重複構造を活用することで、合計パーティションサイズをΘ(kn)からΘ(n)に圧縮し、I/Oおよびメモリの負荷を顕著に低減する。
• ランダム文字列モデルの下で理論的解析を行い、最小部分文字列の期待パーティションサイズと容量を導出し、圧縮効率の妥当性を検証する。
• MSPを用いた完全なde Bruijnグラフ構築パイプラインを実装し、標準的なアセンブリワークロードと統合し、実際の短リードデータセットを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 最小部分文字列に基づくk-merパーティショニングは、従来のk-merベースのパーティショニングと比較して、パーティション合計サイズを小さくできるか？
• RQ2 同じパーティションに重複するk-merを保持することで、メモリ効率およびI/Oパフォーマンスに顕著な向上が得られるか？
• RQ3 MSPベースのde Bruijnグラフ構築は、10 GB未満のメインメモリで実現可能であり、競争力のある実行時間で動作するか？
• RQ4 最小部分文字列の長さ（p）が圧縮比およびパーティショニング効率にどのように影響するか？
• RQ5 本手法は、数十億個の短リードを含む大規模で現実的なゲノムデータセットに対してもスケーラブルかつ有効であるか？

主な発見

• MSP手法により、パーティション合計サイズがΘ(kn)からΘ(n)に削減され、従来のk-merパーティショニングと比較して10〜15倍の圧縮比を達成した。
• 本手法は、258.7 GBのCladonemaおよび137.5 GBのcichlidといった大規模データセットに対しても、10 GB未満のメインメモリでde Bruijnグラフを構築できた。
• ディスクベースのアプローチであるにもかかわらず、既存のアルゴリズムと比較して実行時遅延が生じない。
• 実験結果から、MSPは実際のゲノムデータセットにおいて、メモリ効率および全体的なパフォーマンスの両面で最先端の手法を上回った。
• ランダム文字列モデルの下での理論的解析により、MSPパーティションの期待サイズがデータセットサイズnに線形に比例することが確認され、圧縮モデルの妥当性が裏付けられた。
• 本手法により、高価なメモリリソースを必要とせず、コンmodityハードウェア上でも大規模ゲノムアセンブリが可能になった。