[論文レビュー] Learned Monotone Minimal Perfect Hashing

Paolo Ferragina, Hans‐Peter Lehmann+2 more|arXiv (Cornell University)|Jan 1, 2023

Advanced Image and Video Retrieval Techniques被引用数 1

ひとこと要約

LeMonHashは、キーのランクを推定するための区分線形モデル（PGM-index）と、衝突を解消するための検索構造（BuRR）を用いる学習済み単調最小完全ハッシュ技術であり、整数データセットにおいて、最高の競合他社と比較して最大34％の低スペーシングと19倍の高速なクエリ性能を達成している。また、可変長文字列用にLeMonHash-VLを導入し、最高水準のスペーシングを維持しながら最大3倍の高速なクエリを実現している。

ABSTRACT

A Monotone Minimal Perfect Hash Function (MMPHF) constructed on a set S of keys is a function that maps each key in S to its rank. On keys not in S, the function returns an arbitrary value. Applications range from databases, search engines, data encryption, to pattern-matching algorithms. In this paper, we describe LeMonHash, a new technique for constructing MMPHFs for integers. The core idea of LeMonHash is surprisingly simple and effective: we learn a monotone mapping from keys to their rank via an error-bounded piecewise linear model (the PGM-index), and then we solve the collisions that might arise among keys mapping to the same rank estimate by associating small integers with them in a retrieval data structure (BuRR). On synthetic random datasets, LeMonHash needs 34% less space than the next larger competitor, while achieving about 16 times faster queries. On real-world datasets, the space usage is very close to or much better than the best competitors, while achieving up to 19 times faster queries than the next larger competitor. As far as the construction of LeMonHash is concerned, we get an improvement by a factor of up to 2, compared to the competitor with the next best space usage. We also investigate the case of keys being variable-length strings, introducing the so-called LeMonHash-VL: it needs space within 13% of the best competitors while achieving up to 3 times faster queries than the next larger competitor.

研究の動機と目的

• 整数および文字列キーに対する単調最小完全ハッシュ（MMPHF）において、低スペーシングと高速クエリを両立するという長年の課題に取り組むこと。
• 実践的において、学習ベースのデータ構造が従来のトライベースのMMPHF設計を上回ることを検証すること。
• データの滑らかさと局所的な一様性を活用して、スペーシングを最小限に抑え、構築およびクエリの高速化を実現する手法を開発すること。
• 可変長文字列に対しても、最小限のスペーシングオーバーヘッドと高いパフォーマンスを実現するようにアプローチを拡張すること。

提案手法

• キーを推定ランクにマップする単調的かつ誤差制限付きの区分線形近似を学習するために、PGM-index を活用する。
• 各バケットの最初のキーのグローバルランクを格納する圧縮データ構造を用い、高速なランク照合を可能にする。
• バケット内での衝突を解消するために、キーを直接格納せずに、BuRR 検索構造を用いて局所的ランクを格納する。
• 可変長文字列を効率的に処理するために、LeMonHash-VL でアルファベットの縮小と再帰のしきい値を適用する。
• セグメント長と衝突解消のバランスを取るために、固定誤差バウンド（整数用に ε = 31、文字列用に ε = 63）で PGM マッパーを最適化する。
• PGM と BuRR を二段階の階層構造で統合する：まずグローバルバケットランクのインデクシングを行い、その後に局所的衝突解消を実行する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、整数データセットにおいて、従来のトライベースのMMPHF設計を空間的およびクエリ速度の面で上回ることができるか？
• RQ2 区分線形モデル（PGM）と検索構造（BuRR）の組み合わせは、O(1) クエリ時間維持の下で、スペーシング使用量を最小限に抑えるのにどの程度有効か？
• RQ3 キー分布におけるデータの滑らかさと局所的な一様性をどの程度活用して、スペーシングと構築時間の削減を達成できるか？
• RQ4 学習ベースのアプローチは、競合するスペーシングおよびパフォーマンス特性を備えた可変長文字列に拡張可能か？
• RQ5 誤差制限付き区分線形モデルの使用は、実際の状況で理論的な非線形スペーシング下限値を破るのか？

主な発見

• 合成されたランダム整数データセットでは、LeMonHash は次に優れた競合他社と比較して34％の低スペーシングを達成し、クエリスルーピーは16倍高速である。
• 実世界の整数データセットでは、LeMonHash は最高の競合他社と同等または優れたスペーシングを維持しながら、最大19倍の高速なクエリパフォーマンスを達成している。
• スペーシング使用量の観点で次に優れた競合他社と比較して、LeMonHash は構築スルーレットを最大2倍速くしている。
• LeMonHash-VL は、文字列データセットにおいて、最高の競合他社と比較して13％以内のスペーシングを達成しながら、最大3倍の高速なクエリスルーピーを実現している。
• LeMonHash は、ほとんどのテストデータセットにおいて、空間的使用量、構築時間、クエリパフォーマンスのすべての面で、すべての競合他社を上回っている。
• 局所的な一様性を活用することで、誤差制限付きPGMモデリングと組み合わせることで、実際の状況で非線形スペーシング下限値を破っている。