[論文レビュー] Locality-Preserving Minimal Perfect Hashing of k-mers

Giulio Ermanno Pibiri, Y. Shibuya+1 more|arXiv (Cornell University)|Oct 24, 2022

Algorithms and Data Compression被引用数 6

ひとこと要約

本稿では、ゲノム配列における重複する配列を活用することで、1キーあたりのビット数を理論的下限である log₂(e) ≈ 1.442 ビットを下回るサブ・log₂(e) ビットに抑える、k-mer用の局所性を保つ最小完全ハッシュ関数である LPHash を提案する。ランダムなミニマイザーとk-merのスーパーキー分割を用いることで、LPHashは1キーあたり1ビット未満のメモリ使用量を実現し、PTHash や BBHash といった最先端手法に比べ、ストリーミングクエリを最大2倍の速度で処理する。

ABSTRACT

Minimal perfect hashing is the problem of mapping a static set of $n$ distinct keys into the address space $\{1,\ldots,n\}$ bijectively. It is well-known that $n\log_2(e)$ bits are necessary to specify a minimal perfect hash function (MPHF) $f$, when no additional knowledge of the input keys is to be used. However, it is often the case in practice that the input keys have intrinsic relationships that we can exploit to lower the bit complexity of $f$. For example, consider a string and the set of all its distinct $k$-mers as input keys: since two consecutive $k$-mers share an overlap of $k-1$ symbols, it seems possible to beat the classic $\log_2(e)$ bits/key barrier in this case. Moreover, we would like $f$ to map consecutive $k$-mers to consecutive addresses, as to also preserve as much as possible their relationship in the codomain. This is a useful feature in practice as it guarantees a certain degree of locality of reference for $f$, resulting in a better evaluation time when querying consecutive $k$-mers. Motivated by these premises, we initiate the study of a new type of locality-preserving MPHF designed for $k$-mers extracted consecutively from a collection of strings. We design a construction whose space usage decreases for growing $k$ and discuss experiments with a practical implementation of the method: in practice, the functions built with our method can be several times smaller and even faster to query than the most efficient MPHFs in the literature.

研究の動機と目的

• 生物学的配列からのk-merに一般化された最小完全ハッシュ関数（MPHF）を適用した場合の非効率性を解消すること。
• 連続するk-mer同士がk−1個の文字を共有するという固有の重なりを活用し、理論的下限 log₂(e) ≈ 1.442 ビット/キーを下回る空間複雑度を実現すること。
• 連続するk-merを連続するハッシュ値にマッピングする局所性を保つMPHFを設計し、キャッシュ局所性とサテライトデータの圧縮を向上させること。
• バイオインフォマティクスで一般的なストリーミングワークロードにおいて、空間効率と高いクエリパフォーマンスの両立を達成すること。
• 実用的でオープンソースの実装を開発し、実際のゲノムデータセットにおいて、既存のMPHFよりもサイズと速度の両面で優れるようにすること。

提案手法

• 長大なゲノム配列から代表的なk-merをサンプリングするためにランダムミニマイザーを用い、有効なキー集合のサイズを低減する。
• 同じミニマイザーを持つ連続するk-merを「スーパーキーk-mer」としてグループ化し、構造的局所性を活用して冗長性を低減する。
• 2段階のハッシュ方式を適用：スーパーキーk-mer用の主要MPHFと、曖昧なミニマイザー用のフォールバックMPHF。
• スーパーキーk-merブロック内での高速かつコンパクトなランククエリを実現するために、ワビレットツリーとランク・セレクトデータ構造を活用する。
• 空間的局所性を保持する分割レイアウトを用いて最終的なMPHFを構築し、効率的なストリーミング検索を可能にする。
• 大規模データセットにスケーリングできるように、外部メモリおよび並列処理を最適化した構築パイプラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 k-mer配列内の構造的関係を活用することで、最小完全ハッシュ関数の理論的下限 log₂(e) ビット/キーを下回ることは可能か？
• RQ2 局所性を保つハッシュ関数は、k-merワークロードにおける空間使用量の削減とクエリ速度の向上にどの程度寄与するか？
• RQ3 ランダムミニマイザーとスーパーキーk-merの分割は、冗長性の低減とメモリレイアウトの改善にどの程度有効か？
• RQ4 局所性を保つMPHFは、PTHash や BBHash といった一般化されたMPHFに比べ、空間効率とストリーミングクエリパフォーマンスの両面で優れるか？
• RQ5 異なるミニマイザーのサンプリング戦略は、最終的なMPHFの空間効率と時間効率にどのような影響を及ぼすか？

主な発見

• LPHashは1k-merあたり0.6〜0.9ビットのメモリ使用量にまで低減し、理論的最小値1.442ビット/キーを著しく下回る。
• ヒトおよびケストレルの大型データセットにおいて、LPHashはPTHash-v1に比べ最大2倍、PTHash-v2に比べ最大4倍のストリーミングクエリパフォーマンスを達成する。
• イーストデータセットではBBHashに比べ2倍速く、より大きなデータセットでは最大5倍速く動作するが、メモリ使用量は著しく少ない。
• 構築時間についても競争力があり、より大きなデータセットではMPHFの構築が小規模かつ分割可能であるため、PTHashより高速に構築できる。
• ランダムクエリ性能はPTHashより遅いが、評価の複雑性が増加しているにもかかわらず、特に大きなデータセットではBBHashと同等の性能を維持する。
• 実世界のゲノムデータに適応し、4スレッドでヒトデータセットを処理する場合、合計構築時間が8分未満で実現できる。