[論文レビュー] REMIX: Efficient Range Query for LSM-trees

Wenshao Zhong, Chen Chen+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Data Storage Technologies参考文献 41被引用数 8

ひとこと要約

本稿では、複数のLSM-treeテーブルファイルにまたがるキー値（KV）データのグローバルに整列されたビューを維持する、空間効率的で永続的なインデックス構造であるREMIXを提案する。REMIXは、キー比較を伴わないバイナリサーチおよび順方向の取得を可能にし、RemixDBのような書き込み最適化LSM-treeストアにおける範囲クエリを高速化する。段階的コンパクションを用いることで、低いライトアンプリフィケーションを実現しつつ、高い読み取りパフォーマンスを達成し、最新のシステムを上回る読み取りおよび書き込みワークロードにおける性能を発揮する。

ABSTRACT

LSM-tree based key-value (KV) stores organize data in a multi-level structure for high-speed writes. Range queries on traditional LSM-trees must seek and sort-merge data from multiple table files on the fly, which is expensive and often leads to mediocre read performance. To improve range query efficiency on LSM-trees, we introduce a space-efficient KV index data structure, named REMIX, that records a globally sorted view of KV data spanning multiple table files. A range query on multiple REMIX-indexed data files can quickly locate the target key using a binary search, and retrieve subsequent keys in sorted order without key comparisons. We build RemixDB, an LSM-tree based KV-store that adopts a write-efficient compaction strategy and employs REMIXes for fast point and range queries. Experimental results show that REMIXes can substantially improve range query performance in a write-optimized LSM-tree based KV-store.

研究の動機と目的

• 段階的コンパクションなどの書き込み最適化コンパクション戦略を採用するLSMツリー基盤のキーバリュー・ストアにおける範囲クエリ性能の低さを解決すること。
• 範囲クエリ中に高コストなオンザフライのソートマージ処理を回避するために、KVデータの永続的かつグローバルに整列されたビューを維持すること。
• 従来のLSMツリーにおける読み取りパフォーマンスと書き込みパフォーマンスのトレードオフを克服し、読み取り効率を高める一方で書き込み効率を損なわないこと。
• 最小限のI/Oおよび計算オーバーヘッドで、高速なポイントクエリおよび範囲クエリをサポートするコンactなインデックス構造を設計すること。

提案手法

• 複数のLSMツリー・テーブル・ファイルにまたがるKVデータのグローバルに整列されたビューを維持する、コンパクトで永続的なマルチテーブルインデックスであるREMIXを導入する。
• REMIX上でバイナリサーチを用いて範囲クエリの開始キーを素早く特定し、イテレータのマージ処理の必要性を排除する。
• キー比較や追加のI/Oを伴わずに、REMIXインデックスから直接整列順に次のキーを取得する。
• ライト効率の良い段階的コンパクション戦略とREMIXを統合し、ライトアンプリフィケーションを最小限に抑えつつ、高速な読み取りパフォーマンスを維持する。
• REMIXを用いて高速なポイントおよび範囲クエリを実現し、段階的コンパクションにより低い書き込みコストを実現する、完全なLSMツリー基盤のキーバリュー・ストアであるRemixDBを構築する。
• ランダムI/Oと順方向I/Oがほぼ同等に高速な現代のストレージ性能（例：SSD、3D XPoint）を活用し、物理的なデータのソートの必要性を低減する。

実験結果

リサーチクエスチョン

• RQ1 高いライトアンプリフィケーションを伴わずに、LSMツリーにおける高速な範囲クエリを実現するコンパクトで永続的なインデックス構造を設計可能か？
• RQ2 複数のテーブルファイルにまたがるKVデータのグローバルに整列されたビューを維持することで、範囲クエリ時のテーブルアクセス数およびキー比較回数を削減できるか？
• RQ3 段階的コンパクションに基づくLSMツリーにおいて、REMIXが同時に低いライトアンプリフィケーションと高い読み取りパフォーマンスを達成できるか？
• RQ4 BloomフィルターやSuRF、Rosettaなどの既存のフィルタリング技術と比較して、REMIXはCPU、メモリ、I/Oのオーバーヘッドにおいてどのように異なるか？
• RQ5 混合読み取り・書き込みパターンを有する実世界ワークロードにおいて、REMIXはどれほどパフォーマンスを向上させるか？

主な発見

• REMIXは、重複する複数のテーブルファイルにまたがるバイナリサーチおよび順方向の取得を可能にすることで、キー比較を伴わず、範囲クエリのパフォーマンスを顕著に向上させる。
• RemixDBは、最新のLSMツリー基盤キーバリュー・ストアと比較して、特に混合ワークロード下で読み取りおよび書き込み両方の操作において優れたパフォーマンスを発揮する。
• REMIXの使用により、段階的コンパクションを用いることでライトアンプリフィケーションを低く抑えつつも、高速な範囲クエリパフォーマンスを維持できる。
• フィルタリングベースのアプローチとは異なり、REMIXはクエリ選択性やキーの分布にかかわらず一貫したパフォーマンス向上を実現する。
• REMIXのパフォーマンス向上は、特に大規模な範囲クエリや、複数のテーブルファイルに高い重複度を持つワークロードで顕著であり、この場合、フィルタリング技術ではI/O削減が困難である。
• 実験結果により、REMIXは範囲クエリ時のテーブルアクセス数およびI/O操作数を削減することが確認され、応答時間が短縮され、CPU使用率も低下することが示された。