[論文レビュー] Tsunami: A Learned Multi-dimensional Index for Correlated Data and Skewed Workloads

Jialin Ding, Vikram Nathan+2 more|arXiv (Cornell University)|Jun 23, 2020

Data Management and Algorithms参考文献 32被引用数 19

ひとこと要約

Tsunamiは、クエリスプライティングに適応するグリッドツリーと相関に配慮したパーティショニングのための拡張グリッドを用いる、学習されたメモリ内多次元インデックスである。相関のあるデータと偏ったワークロードに対して動的に最適化され、既存の学習インデックスよりも最大6倍の高速なクエリ性能と8倍の小さなインデックスサイズを達成しており、最適にチューニングされた従来型インデックスよりも最大11倍速く、170倍も小さくなっている。

ABSTRACT

Filtering data based on predicates is one of the most fundamental operations for any modern data warehouse. Techniques to accelerate the execution of filter expressions include clustered indexes, specialized sort orders (e.g., Z-order), multi-dimensional indexes, and, for high selectivity queries, secondary indexes. However, these schemes are hard to tune and their performance is inconsistent. Recent work on learned multi-dimensional indexes has introduced the idea of automatically optimizing an index for a particular dataset and workload. However, the performance of that work suffers in the presence of correlated data and skewed query workloads, both of which are common in real applications. In this paper, we introduce Tsunami, which addresses these limitations to achieve up to 6X faster query performance and up to 8X smaller index size than existing learned multi-dimensional indexes, in addition to up to 11X faster query performance and 170X smaller index size than optimally-tuned traditional indexes.

研究の動機と目的

• 相関のあるデータと偏ったクエリワークロードを処理する際、既存の学習された多次元インデックスの限界を克服すること。
• 与えられたデータセットとワークロードに最適化された、データレイアウトとインデックス構造を同時に最適化する自己最適化インデックスの設計。
• データ相関と非一様なクエリアクセスパターンを伴う実世界のシナリオにおいて、インデックスサイズを削減し、クエリスループットを向上させること。
• 手動チューニングを必要とせず、多様なデータ分布とアクセスパターンにわたり、堅牢で適応的なパフォーマンスを実現すること。

提案手法

• Tsunamiは、クエリスプライティングを軽減するために、アクセス頻度を各領域でバランスさせるように、重複のない領域にデータ空間をパーティショニングする軽量な意思決定ツリー（グリッドツリー）を用いる。
• 関数的マッピングと条件付き累積分布関数（CDF）を用いて次元間の相関をモデル化する、拡張グリッド構造を採用している。
• クエリワークロード統計を用いてグリッドツリーを学習させ、頻繁にアクセスされる領域が効率的にインデックス化されるようにパーティショニングをガイドする。
• 関数的マッピングにより、相関のある次元を低次元空間に変換し、インデックスサイズの削減と検索効率の向上を図る。
• 条件付きCDFにより、ある次元の分布を他の次元の値に基づいて適応的にモデル化でき、選択性推定の精度が向上する。
• インデックス構造とデータストレージレイアウトを、一連のエンドツーエンドパイプラインで同時に最適化することで、手動チューニングの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 学習された多次元インデックスは、パフォーマンスの低下を伴わずに、偏ったクエリワークロードに効果的に適応できるか？
• RQ2 データ次元間の相関を活用することで、クラスタードインデックスにおいてインデックスサイズを削減し、クエリパフォーマンスを向上させられるか？
• RQ3 インデックス構造とデータレイアウトを同時に最適化することで、従来型または既存の学習インデックスよりも優れたパフォーマンスを達成できるか？
• RQ4 どのようなデータ構造が、データ相関下でも均一なセルサイズを維持しながら、効率的かつ適応的なパーティショニングを可能にするか？

主な発見

• Tsunamiは、相関のあるデータと偏ったワークロードにおいて、既存の学習された多次元インデックスよりも最大6倍の高いクエリスループットを達成している。
• 前例となる学習インデックスと比較して、最大8倍のインデックスサイズ削減を実現し、メモリ効率を著しく向上させている。
• 最適にチューニングされた従来型インデックスよりも、クエリパフォーマンスで最大11倍速く、インデックスサイズを最大170倍小さくしている。
• グリッドツリーは、領域間のアクセス頻度をバランスさせることで、ホットスポットでのパフォーマンス向上を実現し、クエリスプライティングを効果的に緩和している。
• 拡張グリッド構造は、関数的マッピングと条件付きCDFを用いて複雑な相関を捉え、高い選択性と低い誤差を維持している。
• Tsunamiのエンドツーエンドでのインデックスとデータレイアウトの共同最適化により、手動チューニングの必要がなく、多様なワークロードにわたり堅牢なパフォーマンスが保証されている。