[論文レビュー] Bounding the Last Mile: Efficient Learned String Indexing

Benjamin Spector, Andreas Kipf+4 more|arXiv (Cornell University)|Nov 29, 2021

Algorithms and Data Compression参考文献 10被引用数 7

ひとこと要約

この論文では、HOPE圧縮された文字列プレフィックス上で誤差バウンド付きスプラインを用いることで、高速でメモリ効率の良いプライマリインデックスを実現する学習済み文字列インデックス、RadixStringSpline (RSS) を提案する。予測誤差をバウンドすることにより、高コストな指数関数的最後マイル探索を効率的な二分探索に置き換え、ART や HOT よりも 7–70× の低いメモリ使用量を達成するとともに、実世界のデータセットにおいてそれらと同等またはそれ以上の速度を実現する。

ABSTRACT

We introduce the RadixStringSpline (RSS) learned index structure for efficiently indexing strings. RSS is a tree of radix splines each indexing a fixed number of bytes. RSS approaches or exceeds the performance of traditional string indexes while using 7-70$ imes$ less memory. RSS achieves this by using the minimal string prefix to sufficiently distinguish the data unlike most learned approaches which index the entire string. Additionally, the bounded-error nature of RSS accelerates the last mile search and also enables a memory-efficient hash-table lookup accelerator. We benchmark RSS on several real-world string datasets against ART and HOT. Our experiments suggest this line of research may be promising for future memory-intensive database applications.

研究の動機と目的

• 学習済み文字列インデックスにおけるプライマリインデックスの高メモリ使用量と遅い最後マイル探索コストを軽減すること。
• プレフィックス圧縮と誤差バウンドモデルを活用することで、文字列インデックスのメモリ使用量を削減すること。
• 誤差バウンドを用いることで、指数的探索から二分探索に置き換えることにより、最後マイル探索のコストを低減すること。
• 辞書符号化のようなメモリ制約のあるデータベースワークロードにおいて、効率的な等価照合および下限照合を可能にすること。
• RSS を実世界の文字列データセット上で評価し、ART や HOT などの最先端構造と比較すること。

提案手法

• RSS は、各ノードが固定長プレフィックス（例：8 バイト）の HOPE 圧縮済み文字列をインデックス化する RadixSpline (RS) ノードの木構造としてデータを整理する。
• 各 RS ノードは、誤差がバウンドされたスプラインモデルを用いてキーの範囲を予測し、最後マイルでの二分探索を可能にする。
• HOPE 圧縮により共通プレフィックスが削除され、情報密度が向上し、平均して文字列サイズが 1.6× 減少する。
• 木構造により、モデルが最小限のプレフィックス長でキーを区別できるため、ノードあたりのファンアウトが高くなる。
• 誤差バウンドのおかげでハッシュテーブルアクセラレータが可能となり、完全な文字列比較なしに高速な等価照合が実現する。
• モデルは辞書的にソートされた文字列配列上で学習され、予測結果を用いてバウンドされた区間内での探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 学習済みインデックス構造は、ART や HOT のような従来の文字列インデックスよりも著しく低いメモリ使用量を達成できるか？
• RQ2 学習モデルにおける誤差バウンドは、文字列インデックスにおける最後マイル探索コストを低減できるか？
• RQ3 HOPE を用いたプレフィックス圧縮は、学習済み文字列インデックスのパフォーマンスとメモリ効率にどのように影響するか？
• RQ4 RSS は実世界の文字列ワークロードにおいて、ART や HOT よりも速度とメモリ使用量の両面で優れているか？
• RQ5 スプラインの木構造は、多様な文字列データ分布にわたって効率的にスケーリングできるか？

主な発見

• RSS は、Wiki、Twitter、Examiner、URL を含む複数の実世界データセットにおいて、ART や HOT よりも 7–70× の低いメモリ使用量を達成する。
• Twitter データセットでは 406 ns、Wiki データセットでは 513 ns の下限照合時間となり、速度面で ART や HOT を上回る。
• URL データセットでは、HOPE 圧縮を適用した RSS（RSS+HC）でメモリ使用量が 123 MB から 278.8 MB に増加するが、プレフィックス類似度が高いためパフォーマンスは低くなる。
• 誤差バウンドの活用により、最後マイルでの二分探索が可能となり、指数的探索に比べて高コストな文字列比較回数が削減される。
• RSS は構築時間において ART や HOT を上回り、特にバッチロードのシナリオにおいて顕著に高速な構築が可能である。
• RSS のパフォーマンスは、初期バイトにおける情報密度に強く依存しており、プレフィックス多様性が高いデータセット（例：Twitter）では最も大きな利点が得られる。