[論文レビュー] Perfect Hashing for Data Management Applications

Fabiano C. Botelho, Rasmus Pagh+1 more|ArXiv.org|Feb 27, 2007

Algorithms and Data Compression参考文献 30被引用数 5

ひとこと要約

本稿では、理論的空間境界にほぼ近い、わずかに3ビットを超えるキーポイントあたりの空間を実現しながらも、数十億規模のデータセットに対して実用的である、スケーラブルな新しいアルゴリズムを提示する。理論的に妥当な方式とメモリ階層最適化を組み合わせることで、コンsumer PC上で10億を超えるURLの最小完全ハッシュ関数（MPHF）を1.5時間未塔で構築可能であり、従来手法と比較して速度面で1桁の向上を達成するとともに、空間使用量を顕著に削減した。

ABSTRACT

Perfect hash functions can potentially be used to compress data in connection with a variety of data management tasks. Though there has been considerable work on how to construct good perfect hash functions, there is a gap between theory and practice among all previous methods on minimal perfect hashing. On one side, there are good theoretical results without experimentally proven practicality for large key sets. On the other side, there are the theoretically analyzed time and space usage algorithms that assume that truly random hash functions are available for free, which is an unrealistic assumption. In this paper we attempt to bridge this gap between theory and practice, using a number of techniques from the literature to obtain a novel scheme that is theoretically well-understood and at the same time achieves an order-of-magnitude increase in performance compared to previous ``practical'' methods. This improvement comes from a combination of a novel, theoretically optimal perfect hashing scheme that greatly simplifies previous methods, and the fact that our algorithm is designed to make good use of the memory hierarchy. We demonstrate the scalability of our algorithm by considering a set of over one billion URLs from the World Wide Web of average length 64, for which we construct a minimal perfect hash function on a commodity PC in a little more than 1 hour. Our scheme produces minimal perfect hash functions using slightly more than 3 bits per key. For perfect hash functions in the range $\{0,...,2n-1\}$ the space usage drops to just over 2 bits per key (i.e., one bit more than optimal for representing the key). This is significantly below of what has been achieved previously for very large values of $n$.

研究の動機と目的

• 大規模なデータ管理アプリケーションにおける理論的最小完全ハッシュ関数と実装のギャップを埋めること。
• 真にランダムなハッシュ関数が利用可能であるという現実的でない仮定に依存せずに、理論的下限に近い空間使用量（約1.4427nビット）を達成する方法を設計すること。
• コンsumerハードウェア上で最大10億キーサイズのデータセットに対しても効率的なMPHFの構築を可能にすること。
• 理論的保証を維持しながらも、実世界のワークロードに実用的である、証明可能に正しい外部メモリアルゴリズムを提供すること。
• 大規模キーセットに対して、従来の実用的手法よりも空間効率と構築速度の両面で優れた性能を発揮すること。

提案手法

• 内部アルゴリズムは、トロップの族に属する2つのユニバーサルハッシュ関数を用いて真にランダムな関数を模倣し、サイクルのないランダムグラフ構造を介して完全ハッシュ関数を構築する。
• 外部アルゴリズムは、理想化されたランダム関数の代わりに、検証可能に優れた実装（テーブルルックアップを用いる）を用いることで、任意のキーセットに対して正しさを保証する。
• アルゴリズムはメモリ階層を意識して設計され、キャッシュミスやI/O操作を最小限に抑えるデータアクセス戦略を採用することで、大規模データセットにおけるパフォーマンスを向上させる。
• ヒューリスティックな変種では、ジェンキンスの高速擬似ランダムハッシュ関数を用いることで評価時間を短縮し、理論的保証を多少犠牲にしてでも速度を向上させる。
• アルゴリズムは、{0, ..., n-1}（最小）または{0, ..., 2n-1}の値を出力するMPHFを生成するように設計されており、後者の範囲ではキーポイントあたりわずか2ビットを超える空間使用量にまで削減できる。
• 外部メモリに最適化されたマルチフェーズアプローチを採用し、キーセットをパーティション化してディスクとメインメモリを効率的に活用して処理する。

実験結果

リサーチクエスチョン

• RQ1 大規模データ管理アプリケーションにおいて、理論的に理解され、かつ実用的効率性を備えた完全ハッシュスキームは実現可能か？
• RQ2 nが非常に大きい場合、理論的下限（1.4427nビット）に非常に近い空間使用量を持つ最小完全ハッシュ関数を構築することは可能か？
• RQ3 コンsumerハードウェア上で10億を超えるキーセットのMPHFの構築を実用的に行えるか？
• RQ4 メモリ階層への配慮は、完全ハッシュ関数の構築アルゴリズムのパフォーマンスをどのように向上させ得るか？
• RQ5 現実的でない仮定（例：自由に利用可能な真のランダムハッシュ関数）に依存しない、証明可能に正しい外部メモリアルゴリズムを設計することは可能か？

主な発見

• 外部アルゴリズムは、コンsumer PC上で10億を超えるURLの最小完全ハッシュ関数を1時間以上で構築可能であり、従来の実用的手法と比較して1桁の速度向上を達成した。
• 最小完全ハッシュ関数ではキーポイントあたりわずかに3ビットを超える空間使用量を達成した。{0, ..., 2n-1}の範囲を用いる場合、キーポイントあたりわずかに2ビットを超える空間使用量にまで削減された。
• {0, ..., 2n-1}の範囲を用いる場合、MPHFのストレージ要件は324 MB未満に収まり、32ビットワードに収まる。
• 外部アルゴリズムのヒューリスティック変種は、評価時間を従来手法の2倍未満にまで短縮したが、空間効率はほぼ同等を維持した。
• 本アルゴリズムは、理論的保証を備えつつ、100億規模のキーセットに対しても実用的スケーラビリティを実現する最初の外部メモリアルゴリズムであり、理想化された仮定に依存しない。
• 本アルゴリズムはLGPLライセンスの下で公開されており、データ管理および情報検索システムへの導入を可能としている。