[論文レビュー] Moment-Based Quantile Sketches for Efficient High Cardinality Aggregation Queries

Edward Gan, Jialin Ding+3 more|arXiv (Cornell University)|Mar 6, 2018

Data Management and Algorithms参考文献 70被引用数 3

ひとこと要約

本論文では、サンプルおよび対数モーメントを追跡することで、200バイト未満のメモリと50ナノ秒未塔のマージ時間で高速かつ高精度な分位数推定を可能にする、コンパクトな分位数スケッチ「モーメンツスケッチ」を紹介する。モーメント法と最大エントロピー原理を組み合わせることで、1%未満の分位数誤差を達成し、Druidでは最大60倍、MacroBaseでは7.9倍のクエリ性能向上を実現した。

ABSTRACT

Interactive analytics increasingly involves querying for quantiles over sub-populations of high cardinality datasets. Data processing engines such as Druid and Spark use mergeable summaries to estimate quantiles, but summary merge times can be a bottleneck during aggregation. We show how a compact and efficiently mergeable quantile sketch can support aggregation workloads. This data structure, which we refer to as the moments sketch, operates with a small memory footprint (200 bytes) and computationally efficient (50ns) merges by tracking only a set of summary statistics, notably the sample moments. We demonstrate how we can efficiently and practically estimate quantiles using the method of moments and the maximum entropy principle, and show how the use of a cascade further improves query time for threshold predicates. Empirical evaluation on real-world datasets shows that the moments sketch can achieve less than 1 percent error with 15 times less merge overhead than comparable summaries, improving end query time in the MacroBase engine by up to 7 times and the Druid engine by up to 60 times.

研究の動機と目的

• Druid や Spark のような高基数 OLAP システムにおいて、多数の分位数要約をマージする際のパフォーマンスボトルネックを解消すること。
• 数百万もの次元-値の組み合わせにわたる近似分位数推定を要するインタラクティブアナリティクスワークロードにおけるメモリおよび計算オーバーヘッドを低減すること。
• 高精度な分位数クエリを維持しつつ、効率的なマージ操作をサポートする要約データ構造を設計すること。
• 要約のマージ時間を最小限に抑えることで、リアルタイム監視や探索的データ分析におけるインタラクティブなクエリ応答時間を実現すること。
• 段階的に精度を高める推定器を用いた、しきい値ベースの分位数クエリを高速化するための段階的フィルタリング戦略を設計すること。

提案手法

• モーメンツスケッチは、データ分布をコンパクトに要約するため、サンプルモーメント μi = (1/n)Σxi と対数モーメント νi = (1/n)Σlogi(x) を格納する。
• 分位数推定は、モーメント法と最大エントロピー原理を用いて、格納されたモーメントと一致する最も偏りのない分布を推定することで実行する。
• モーメントの閉形式集約により、メモリ使用量を最小限に抑えつつ、50ナノ秒未塔のマージ時間を実現する効率的なマージ操作をサポートする。
• 推定器の段階的チェーン（キャスケード）を導入：まず高速で近似のチェック（例：範囲ベース）を行い、次第に精度の高いモーメントベースの推定に段階的に移行することで、高コストな完全推定の回数を削減する。
• スライディングウィンドウクエリをサポートするため、サブトラクションとマージによる動的更新を可能にするトゥルースタンドセマンティクスを採用する。
• 本手法は、実世界のデータセット（例：ミラノのインターネット利用状況、Microsoftテレメトリ）を用いた生産環境に近いワークロードにおいて、DruidおよびMacroBaseエンジンで評価された。

実験結果

リサーチクエスチョン

• RQ1 サンプルモーメントのみを追跡する要約データ構造が、最小限のメモリおよび計算コストで高精度な分位数推定を達成できるか？
• RQ2 高基数集約ワークロードにおいて、GKスケッチやMerge12のような既存のマージ可能な分位数要約と比較して、モーメントベースのスケッチのマージ時間はどの程度速いか？
• RQ3 段階的フィルタリング戦略は、しきい値ベースの分位数クエリにおけるクエリ応答時間をどの程度短縮できるか？
• RQ4 モーメンツスケッチは、多様な実世界のデータセットにおいて1%未塔の分位数誤差を維持しながら、インタラクティブなクエリパフォーマンスを実現できるか？
• RQ5 限られた要約統計量からの推定において、モーメント法と最大エントロピーの組み合わせは、バイアスのない分位数推定をどの程度効果的に生み出せるか？

主な発見

• モーメンツスケッチは、200バイトのメモリ使用量と50ナノ秒未塔のマージ時間で、実世界のデータセットにおいて1%未塔の分位数誤差を達成した。
• MacroBaseエンジンでは、キャスケードを用いたモーメンツスケッチのクエリは、Merge12スケッチよりも7.9倍速く、直接推定ベースラインよりも3.7倍速かった。
• Druidエンジンでは、マージ処理の著しい高速化のおかげで、モーメンツスケッチはMerge12スケッチよりも最大60倍のクエリ高速化を達成した。
• キャスケード機構により、ナイーブベースラインと比較して推定時間は250倍以上短縮され、各段階で処理するクエリ数が減少し、スループットが向上した。
• トゥルースタンド更新とキャスケードを併用したスライディングウィンドウクエリは、Merge12スケッチを使用した場合と比較して13倍速く実行された。
• 連続的な実数値データにおいて、モーメント法と最大エントロピーの組み合わせは、代替手法よりもより高精度な分位数推定を提供した。