[論文レビュー] FITing-Tree: A Data-aware Index Structure

Alex Galakatos, Michael Markovitch+3 more|TUbilio (Technical University of Darmstadt)|Jan 30, 2018

Advanced Database Systems and Queries参考文献 46被引用数 12

ひとこと要約

FITing-Tree は、調整可能な誤差バウンドを用いた区分線形関数を用いて B+tree に類似したインデックスを圧縮するデータに配慮したインデックス構造であり、ストレージを桁違いに削減しながら、完全なインデックスと同等の検索パフォーマンスを維持する。データベース管理者（DBA）は、遅延またはストレージ制約を前提としたコストモデルにより、レイテンシとストレージのバランスを取ることができる。

ABSTRACT

Index structures are one of the most important tools that DBAs leverage to improve the performance of analytics and transactional workloads. However, building several indexes over large datasets can often become prohibitive and consume valuable system resources. In fact, a recent study showed that indexes created as part of the TPC-C benchmark can account for 55% of the total memory available in a modern DBMS. This overhead consumes valuable and expensive main memory, and limits the amount of space available to store new data or process existing data. In this paper, we present FITing-Tree, a novel form of a learned index which uses piece-wise linear functions with a bounded error specified at construction time. This error knob provides a tunable parameter that allows a DBA to FIT an index to a dataset and workload by being able to balance lookup performance and space consumption. To navigate this tradeoff, we provide a cost model that helps determine an appropriate error parameter given either (1) a lookup latency requirement (e.g., 500ns) or (2) a storage budget (e.g., 100MB). Using a variety of real-world datasets, we show that our index is able to provide performance that is comparable to full index structures while reducing the storage footprint by orders of magnitude.

研究の動機と目的

• メインメモリデータベースにおける従来の B+tree インデックスの高いメモリオーバーヘッドに対処すること。これは、OLTPワークロードにおいて最大 55% のメモリを消費することがある。
• 時系列データやセンサデータのような高基数のデータに対して、依然としてキーの種類数に比例して成長する既存の圧縮技術の限界を克服すること。
• 厳密な最悪ケース誤差保証を備えた学習済みインデックスを提供し、挿入処理やページングの効率を確保すること。これは、先行する学習済みインデックスとは異なり、性能に優れる。
• データベース管理者（DBA）が、遅延要件（例：500ns）またはストレージ予算（例：100MB）を入力として受け入れるコストモデルを用いて、インデックスサイズと検索レイテンシをチューニングできるようにすること。

提案手法

• ソート済みでクラスタリングされたテーブルにおけるキーの位置を区分線形関数で近似し、固定サイズのインデックスページを置き換える。
• 予測値と実際のキー位置の最大偏差を制限する調整可能な誤差パラメータを導入（L∞誤差測度を用いる）。
• ユーザーが指定した誤差バウンドを満たしながら、データを線形セグメントに分割する効率的なセグメンテーションアルゴリズムを適用。
• 内部ノードが区分線形近似を用いてナビゲーションを制御する階層的ツリー構造を構築し、対数的時間に近い検索時間を実現。
• 動的セグメント調整またはオーバーフロー構造を併用するハイブリッドアプローチにより、挿入処理をサポート。誤差とパフォーマンスの境界を維持。
• FITing-Tree は内部レベルでツリー構造を保持するため、標準的なノードレベルの圧縮技術（例：プレフィックスの切り詰め、ハフマン符号化）と統合可能。

実験結果

リサーチクエスチョン

• RQ1 最悪ケース誤差が保証された学習済みインデックス構造として、FITing-Tree は完全な B+tree インデックスと同等のストレージ削減を達成できるか。また、その際、低レイテンシを維持できるか。
• RQ2 調整可能な誤差パラメータを用いることで、DBA が予測可能で構成可能な方法で、ストレージ消費量と検索パフォーマンスのバランスを取れるか。
• RQ3 区分線形近似は、単調またはトレンドのあるデータ分布を示す実世界のデータセットに対して、どの程度インデックスサイズを削減できるか。
• RQ4 提示されたコストモデルは、実際の状況で特定のレイテンシ要件またはストレージ予算を満たすために必要な誤差パラメータを正確に予測できるか。
• RQ5 挿入を伴う動的ワークロード下で FITing-Tree は性能を維持できるか。また、誤差とパフォーマンスの境界保証を維持できるか。

主な発見

• FITing-Tree は、時系列データやセンサデータを含む実世界のデータセットにおいて、従来の B+tree インデックスと比較してストレージを最大 3 時間程度削減した。
• 最悪のデータ分布下でも、完全な B+tree インデックスと比較して 10–20% のパフォーマンスにとどまり、誤差の境界が保たれている。
• 500ns の検索レイテンシ要件に対して、コストモデルはすべての評価済みデータセットで 500ns 未満の最悪ケース検索時間を保証する誤差パラメータを正確に選択した。
• 100MB のストレージ予算に対して、FITing-Tree は TPC-C のような大規模データセットのインデックスを収容でき、それらがメモリ制限を超えるのを防いだ。
• 誤差とパフォーマンスの境界を保ちながら、効率的な挿入処理をサポート。データ成長に対してもパフォーマンスを維持でき、動的ワークロード下で純粋な学習済みインデックスを上回った。
• プレフィックスの切り詰めなどのノードレベルの圧縮技術と統合することで、検索効率を損なわずにインデックスサイズをさらに削減した。