[論文レビュー] Engineering Relative Compression of Genomes

Szymon Grabowski, Sebastian Deorowicz|arXiv (Cornell University)|Mar 11, 2011

Algorithms and Data Compression参考文献 19被引用数 8

ひとこと要約

本論文は、同じ種の複数のゲノムを対象とした、新規のLZ77スタイルの相対的圧縮アルゴリズムを提示する。リファレンス配列に他のゲノムからの高頻度フレーズを追加し、パースとエンコードを最適化することで、従来手法に比べて圧縮速度が10倍以上速く、圧縮比も30%向上している。この手法により、ランダムアクセスをサポートする大規模なゲノムデータベースの効率的かつスケーラブルな保存が可能になる。

ABSTRACT

Technology progress in DNA sequencing boosts the genomic database growth at faster and faster rate. Compression, accompanied with random access capabilities, is the key to maintain those huge amounts of data. In this paper we present an LZ77-style compression scheme for relative compression of multiple genomes of the same species. While the solution bears similarity to known algorithms, it offers significantly higher compression ratios at compression speed over a order of magnitude greater. One of the new successful ideas is augmenting the reference sequence with phrases from the other sequences, making more LZ-matches available.

研究の動機と目的

• 高スループットシーケンシング技術によって生じる大規模なゲノムデータベースの保存とアクセスの課題に対処すること。
• 大規模で繰り返しの多いヒトゲノムや種特異的ゲノムにおいて、ゲノム間の再利用可能性を十分に活用できない従来の圧縮手法の限界を克服すること。
• 高速かつスケーラブルな圧縮方式を開発し、ランダムアクセスをサポートしながらも高い圧縮比を維持すること。
• 新規なアルゴリズム的手法を用いて、既存の相対的圧縮アルゴリズムの速度と圧縮効率の両方を向上させること。
• 大規模ゲノムワークフロー、特に個別化医療やバージョン管理システムにおける実用的導入を可能にすること。

提案手法

• 他の同じ種のゲノムから抽出した高頻度フレーズをリファレンスゲノムに追加することで、LZ77マッチの数を増加させる。
• 近似的な繰り返しを暗黙的に検出できるように変更されたLZパース戦略を用い、速度を損なわずにマッチの発見を向上させる。
• マッチのオフセット、長さ、リテラルをコンactなエンコード方式で表現し、全体の圧縮サイズを削減する。
• パースの粒度を制御し、速度と圧縮比のバランスを取るために、しきい値ベースのフィルタリング（M₁ = 13）を適用する。
• 13-mer部分配列の頻度に基づくヒューリスティックを用いて最適なリファレンス配列を選択し、マッチの可能性を高める。
• 将来的にマッチビットベクトルにランク/セレクトデータ構造を適用してランダムアクセスをサポートできるように、拡張性を考慮して設計する。

実験結果

リサーチクエスチョン

• RQ1 同じ種の他の配列からのフレーズをリファレンス配列に追加することで、LZ77ベースの圧縮比を顕著に向上させることができるか？
• RQ2 大規模で繰り返しが多いゲノムにおいて、LZ77スタイルのパースを最適化することで、高速かつ高効率な圧縮を達成できるか？
• RQ3 リファレンス配列の選択が全体の圧縮性能に与える影響は何か？また、これを自動化して効果的に実行できるか？
• RQ4 提案手法は、圧縮されたゲノムデータに対する効率的なランダムアクセスをサポートできるか？必要なデータ構造は何か？
• RQ5 このアルゴリズムの圧縮性能は、既存の相対的圧縮器と比較して、速度と圧縮比の両面で優れているか？

主な発見

• 本アルゴリズムは、Kuruppuら[15]の最先端手法に比べ、圧縮速度が10倍以上速いことが確認された。
• 同じベースラインと比較して、圧縮比が約30%向上しており、顕著な効率向上が示された。
• 他のゲノムからのフレーズをリファレンス配列に追加することで、利用可能なLZマッチの数が増加し、圧縮効率が直接的に向上した。
• フレーズ長の最適なしきい値（M₁）は、大多数のデータセットで13であったが、非常に繰り返しが多いヒトゲノムでは速度を維持するためにより高い値が必要であった。
• 13-mer頻度に基づくリファレンス配列選択のヒューリスティックは、大多数のケースで有効であったが、ヒト染色体データでは1回失敗した。
• 本アルゴリズムは、ソフトウェアのバージョン管理システムや、インverted indexの圧縮におけるRe-Pairの代替としての応用が有望であるが、速度の面で妥協が生じる可能性がある。