[論文レビュー] Superseding traditional indexes by orchestrating learning and geometry

Giorgio Vinciguerra, Paolo Ferragina+1 more|arXiv (Cornell University)|Mar 1, 2019

Data Management and Algorithms参考文献 33被引用数 5

ひとこと要約

本稿では、キー分布の幾何的セグメンテーションを線形モデルを用いて行うことで、Bツリーおよび先行する学習済みインデックスよりも優れた時間的・空間的効率を達成する、学習済みインデックス「Piecewise Geometric Model index（PGMインデックス）」を提案する。さらに、分布に適応するバリエーションを提案し、ストレージとクエリ時間の間でアプリケーション固有のトレードオフを自動最適化可能なマルチ基準データ構造としてPGMインデックスを確立している。実験では、数個のオーダーの向上が確認された。

ABSTRACT

We design the first learned index that solves the dictionary problem with time and space complexity provably better than classic data structures for hierarchical memories, such as B-trees, and modern learned indexes. We call our solution the Piecewise Geometric Model index (PGM-index) because it turns the indexing of a sequence of keys into the coverage of a sequence of 2D-points via linear models (i.e. segments) suitably learned to trade query time vs space efficiency. This idea comes from some known heuristic results which we strengthen by showing that the minimal number of such segments can be computed via known and optimal streaming algorithms. Our index is then obtained by recursively applying this geometric idea that guarantees a smoothed adaptation to the "geometric complexity" of the input data. Finally, we propose a variant of the index that adapts not only to the distribution of the dictionary keys but also to their access frequencies, thus obtaining the first distribution-aware learned index. The second main contribution of this paper is the proposal and study of the concept of Multicriteria Data Structure, namely one that asks a data structure to adapt in an automatic way to the constraints imposed by the application of use. We show that our index is a multicriteria data structure because its significant flexibility in storage and query time can be exploited by a properly designed optimisation algorithm that efficiently finds its best design setting in order to match the input constraints. A thorough experimental analysis shows that our index and its multicriteria variant improve uniformly, over both time and space, classic and learned indexes up to several orders of magnitude.

研究の動機と目的

• 階層的メモリシステムにおける時間的・空間的計算量の両面で、従来のBツリーおよび最新の学習済みインデックスを上回る学習済みインデックスの設計を目的とする。
• キー分布の幾何的複雑性を形式的に定式化し、それを2次元点の集合として線形セグメントで被覆するモデルとして活用する。
• 入力データの内在する幾何的複雑性に滑らかに適応できる、再帰的な幾何的構築法の開発を目的とする。
• アクセス頻度の情報を組み込むことで、インデックスを分布に適応させる拡張を目的とする。
• 性能とストレージに関するアプリケーション固有の制約を自動的に最適化できる「マルチ基準データ構造」の概念を導入・検討することを目的とする。

提案手法

• PGMインデックスは、整列済みキーのシーケンスを、各キーを座標 (i, key_i) にマッピングした2次元点集合とみなす。この点集合を、ストリーミングアルゴリズムを用いて学習された最小数の直線セグメントで被覆する。
• 最小数のセグメントを計算する既知の最適ストリーミングアルゴリズムを用い、セグメント選択における理論的効率を保証する。
• この幾何的セグメンテーションを再帰的に適用することで、クエリ時間とストレージ使用量の両立を図る階層的で適応的な構造を実現する。
• アクセス頻度を重みとしてセグメントに組み込むことで、頻繁にアクセスされるキーを最適化する分布に適応したバリエーションを拡張する。
• ユーザーが定義した制約に基づき、ストレージとクエリ時間の最良なトレードオフを選択する最適化アルゴリズムを用いて、インデックスをマルチ基準データ構造として形式化する。
• 最小セグメント被覆のためのストリーミングアルゴリズムの使用により、理論的保証が得られ、最適な幾何的分割が保証される。

実験結果

リサーチクエスチョン

• RQ1 時間的・空間的計算量の両面で、Bツリーおよび既存の学習済みインデックスを理論的に上回る学習済みインデックスを設計可能か？
• RQ2 キー分布の幾何的性質を活用することで、より効率的なインデックス構造を構築できるか？
• RQ3 キーのシーケンスを被覆するのに必要な最小の線形セグメント数を効率的に計算し、スケーラブルなインデックス構築に応用可能か？
• RQ4 アクセス頻度のパターンに適応しながら、ストレージと時間的効率を維持できるインデックスの適応性はどの程度か？
• RQ5 ストレージとクエリ時間に関するアプリケーション固有のトレードオフを自動的に最適化できるように、データ構造を形式的にマルチ基準構造として定義可能か？

主な発見

• PGMインデックスは、キー分布を線形セグメントで被覆する幾何的点集合としてモデル化することにより、Bツリーおよび既存の学習済みインデックスよりも理論的に優れた時間的・空間的計算量を達成する。
• 最小セグメント被覆のための最適ストリーミングアルゴリズムの使用により、幾何的分割が効率的かつ最小限に保証される。
• 幾何的モデルの再帰的適用により、入力データの内在する幾何的複雑性に滑らかに適応できる。
• PGMインデックスの分布に適応したバリエーションは、アクセス頻度をセグメント学習プロセスに組み込むことで、頻繁にアクセスされるキーのパフォーマンスを向上させる。
• 実験的評価により、PGMインデックスは古典的および学習済みインデックスの両方において、時間的・空間的両面で一貫した向上を示しており、数個のオーダーの向上が確認された。
• PGMインデックスは正式にマルチ基準データ構造として確立され、ユーザーが定義した制約下で最良の設計パrameterを自動選択する最適化フレームワークが提供された。