[論文レビュー] On the representation of de Bruijn graphs

Rayan Chikhi, Antoine Limasset+3 more|arXiv (Cornell University)|Jan 21, 2014

Genomics and Phylogenetic Studies参考文献 26被引用数 15

ひとこと要約

本稿では、周囲の頻度に基づく最小化子を用いて最大単純路を列挙することで、メモリ使用量を著しく削減する新しいデータ構造 dbgfm を提案する。ヒト全ゲノムデータ（1.5 GB）において46%のメモリ削減を達成し、ABySS などのアセンブラへの統合を可能にし、実用的入力において2nビット/k-mer に近い最適なメモリ使用量を実現する。

ABSTRACT

The de Bruijn graph plays an important role in bioinformatics, especially in the context of de novo assembly. However, the representation of the de Bruijn graph in memory is a computational bottleneck for many assemblers. Recent papers proposed a navigational data structure approach in order to improve memory usage. We prove several theoretical space lower bounds to show the limitation of these types of approaches. We further design and implement a general data structure (DBGFM) and demonstrate its use on a human whole-genome dataset, achieving space usage of 1.5 GB and a 46% improvement over previous approaches. As part of DBGFM, we develop the notion of frequency-based minimizers and show how it can be used to enumerate all maximal simple paths of the de Bruijn graph using only 43 MB of memory. Finally, we demonstrate that our approach can be integrated into an existing assembler by modifying the ABySS software to use DBGFM.

研究の動機と目的

• ゲノムアセンブラにおける de Bruijn グラフ表現の高いメモリオーバーヘッド、特にヒトやホワイトスプロウの大型ゲノムにおいての問題を解決すること。
• ナビゲーション用データ構造（NDS）を形式化し、それらの表現における理論的メモリ下限を確立すること。
• 現実の de Bruijn グラフの構造、特に長大な単純路への分解を活用した実用的で低メモリなデータ構造（dbgfm）を設計すること。
• 周囲の頻度に基づく最小化子が、43 MB のメモリで十分に、メモリ内での最大単純路の列挙を効率的に行えることを示すこと。
• 既存のアセンブラ（ABySS）に dbgfm を統合し、コアアセンブリワークフローに影響を与えずにメモリ使用量を削減できることを示すこと。

提案手法

• k-merのカウントソフトウェアを用いて、シーケンシングデータをディスク上に保存されたk-merのリストに事前処理し、定数メモリでの前処理を可能にする。
• 周囲の頻度に基づく最小化子（データセット内での出現頻度に基づくℓ-mersの辞書的順序でない順序）を用い、最大単純路の列挙をガイドする。
• 全最大単純路をメモリに完全に読み込まずに列挙する新しいアルゴリズムを開発し、周囲の頻度順最小化子を用いて走査をガイドする。
• 列挙されたルートをFMインデックスデータ構造に格納し、効率的なランク/セレクト演算および近隣ノード照会を可能にする。
• dbgfm を、ルート表現の圧縮されたFMインデックスとして構築し、k-mer 1つあたり2nビットの理論的下限に近いメモリ使用量を達成する。
• ABySSアセンブラに dbgfm を統合し、ハッシュテーブルの代わりにFMインデックスを用いた構造に置き換えることで、機能を維持しながらメモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 ナビゲーション用データ構造を用いた de Bruijn グラフの表現に必要な理論的最小メモリ量は何か？ そして、既知の上界と比較するとどうか？
• RQ2 現実の de Bruijn グラフの構造的性質（特に長大な単純路への分解）を活用することで、よりメモリ効率の良い表現が設計可能か？
• RQ3 周囲の頻度に基づく最小化子が、辞書的順序やランダム順序と比較して、メモリ使用量の削減に優れているか？
• RQ4 実用的な状況において、de Bruijn グラフ表現のメモリ使用量は、k-mer 1つあたり2nビットの理論的下限にどの程度近づけるか？
• RQ5 dbgfm のような低メモリデータ構造を、機能的・性能的損失なしに既存のアセンブラパイプラインに統合できるか？

主な発見

• 本稿では、任意のナビゲーション用データ構造に対して3.24nビットの理論的下限を証明し、このようなアプローチの限界を強調している。
• 線形 de Bruijn グラフ（単純路）では、ナビゲーション用および一般のデータ構造が、k-mer 1つあたり2nビットを達成でき、理論的下限と一致する。
• dbgfm はヒト全ゲノムデータセットでk-mer 1つあたり4.76nビットを達成し、染色体14では3.53nビットを達成しており、従来の最先端手法と比較してそれぞれ46%および60%の改善を示している。
• 周囲の頻度に基づく最小化子を用いることで、43 MB のメモリでヒト全ゲノム de Bruijn グラフを列挙することができ、ルート列挙の高効率性を実証した。
• ABySS に統合した際、dbgfm はスパースハッシュ実装と比較して70%のメモリ使用量削減を達成したが、実行時間は33%増加した。
• dbgfm におけるグラフ構造のメモリ使用量は全体の6%にとどまり、ハッシュテーブルバージョンの54%と比較して顕著に低い。これは、主なメモリ節約効果が圧縮表現に起因していることを示している。