[論文レビュー] Incremental Edge Orientation in Forests

Michael A. Bender, Bradley C. Kuszmaul+3 more|arXiv (Cornell University)|Jan 1, 2021

Caching and Content Delivery参考文献 118被引用数 2

ひとこと要約

この論文は、墓場ハッシュ化（graveyard hashing）を紹介する。これは、主にクラスタリングを回避するための戦略的なトゥームストーンの使用によって、主クラスタリングを排除する線形プローブの新規変種である。トゥームストーンを用いた削除の管理を即時のコンパクト化ではなく、慎重に行うことにより、著者らは、負荷率が1−1/xに近づく状況でも挿入および削除の期待される amortized コストが Õ(x) を維持することを示している。外部記憶装置においては、x=o(B) のとき、1+o(1) のブロック転送が最適に達成される。

ABSTRACT

First introduced in 1954, linear probing is one of the oldest data structures in computer science, and due to its unrivaled data locality, it continues to be one of the fastest hash tables in practice. It is widely believed and taught, however, that linear probing should never be used at high load factors; this is because primary-clustering effects cause insertions at load factor $1 - 1 /x$ to take expected time $Θ(x^2)$ (rather than the ideal $Θ(x)$). The dangers of primary clustering, first discovered by Knuth in 1963, have been taught to generations of computer scientists, and have influenced the design of some of many widely used hash tables. We show that primary clustering is not a foregone conclusion. We demonstrate that small design decisions in how deletions are implemented have dramatic effects on the asymptotic performance of insertions, so that, even if a hash table operates continuously at a load factor $1 - Θ(1/x)$, the expected amortized cost per operation is $ ilde{O}(x)$. This is because tombstones created by deletions actually cause an anti-clustering effect that combats primary clustering. We also present a new variant of linear probing (which we call graveyard hashing) that completely eliminates primary clustering on \emph{any} sequence of operations: if, when an operation is performed, the current load factor is $1 - 1/x$ for some $x$, then the expected cost of the operation is $O(x)$. One corollary is that, in the external-memory model with a data blocks of size $B$, graveyard hashing offers the following remarkable guarantee: at any load factor $1 - 1/x$ satisfying $x = o(B)$, graveyard hashing achieves $1 + o(1)$ expected block transfers per operation. Past external-memory hash tables have only been able to offer a $1 + o(1)$ guarantee when the block size $B$ is at least $Ω(x^2)$.

研究の動機と目的

• 高負荷率における線形プローブの性能劣化が主クラスタリングによって引き起こされるという長年の問題に対処すること。
• トゥームストーンに基づく削除戦略が、線形プローブの漸近的挙動を根本的に変える可能性があるかどうかを調査すること。
• データの局所性を保ちつつ主クラスタリングを排除するハッシュテーブルの変種を設計すること。
• 高負荷率下で、1+o(1)のブロック転送を期待値として達成する外部記憶装置における最適なパフォーマンスを実現すること。

提案手法

• 『墓場ハッシュ化』を導入する。これは、トゥームストーンを用いて反クラスタリング効果を生み出す線形プローブの変種である。
• トゥームストーンと挿入の相互作用を分析し、トゥームストーンが長い連続領域を断ち切ることでクラスタリングを軽減できることを示す。
• 確率的解析を用いて、トゥームストーンが挿入の挙動を、実際のクラスタリング度よりも少ないように見せる効果があることを示す。
• 適切なトゥームストーン管理がなされれば、負荷率が1−1/xであっても、1操作あたりの期待される amortized コストが Õ(x) のまま維持されることを証明する。
• 外部記憶装置への応用を適用し、ブロックサイズがBであるとき、x=o(B) の条件下で、墓場ハッシュ化が1操作あたり1+o(1)の期待ブロック転送を達成することを示す。
• 2-独立およびシンプルなタブulationハッシュ関数に関する既知の結果を活用し、実用的なハッシュ族との互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 トゥームストーンに基づく削除戦略は、線形プローブにおける主クラスタリングを排除できるか？
• RQ2 ハッシュテーブル内にトゥームストーンが存在することで、反クラスタリング効果が生じ、挿入パフォーマンスが向上するか？
• RQ3 削除をトゥームストーンで処理する場合、負荷率が1−1/xに近づく状況でも、線形プローブがO(x)の期待される amortized コストを維持できるか？
• RQ4 トゥームストーンを用いてクラスタリングを防ぐ線形プローブの変種の外部記憶装置におけるパフォーマンスはいかほどか？
• RQ5 トゥームストーンの使用は、削除のないワークロードでさえも、線形プローブの漸近的挙動を変える可能性があるか？

主な発見

• 墓場ハッシュ化は、負荷率が1−1/xであっても、挿入または削除1回あたりの期待される amortized コストが Õ(x) に保たれる。
• トゥームストーンは反クラスタリング効果を引き起こし、長大な連続領域の形成を防ぎ、主クラスタリングに対抗する。
• 外部記憶装置モデルにおいて、x=o(B) のとき、墓場ハッシュ化は1操作あたり1+o(1)の期待ブロック転送を達成する。これは、従来の手法がB=Ω(x²)を要していたのと比べ、顕著な改善である。
• 削除のないワークロードでも、トゥームストーンの持続的反クラスタリング効果のおかげで、性能保証が維持される。
• この技術は2-独立およびシンプルなタブulationハッシュ関数と互換性があり、実用的導入が可能である。
• 結果から、トゥームストーン管理は単なるエンジニアリングの選択ではなく、線形プローブの漸近的挙動を変える重要なアルゴリズム的設計意思決定であることが示された。