[論文レビュー] Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads

Dingheng Mo, Fanchao Chen+2 more|arXiv (Cornell University)|Aug 14, 2023

Advanced Data Storage TechnologiesComputer Science被引用数 3

ひとこと要約

RusKey は、新規の FLSM-tree 構造とレベルベースの DDPG に基づく強化学習モデルを用いて、変動するワークロードに対して動的に LSM ツリーのコンパクションポリシーを最適化する強化学習（RL）を統合したキーバリュー・ストアである。RusKey は、事前のワークロード知識がなくても、多様なワークロードにおいて RocksDB よりも最大 4 倍の優れたエンドツーエンド性能を達成しており、適応的ポリシー学習とレベル間での効率的なポリシー伝搬により、高い頑健性を示している。

ABSTRACT

LSM-trees are widely adopted as the storage backend of key-value stores. However, optimizing the system performance under dynamic workloads has not been sufficiently studied or evaluated in previous work. To fill the gap, we present RusKey, a key-value store with the following new features: (1) RusKey is a first attempt to orchestrate LSM-tree structures online to enable robust performance under the context of dynamic workloads; (2) RusKey is the first study to use Reinforcement Learning (RL) to guide LSM-tree transformations; (3) RusKey includes a new LSM-tree design, named FLSM-tree, for an efficient transition between different compaction policies -- the bottleneck of dynamic key-value stores. We justify the superiority of the new design with theoretical analysis; (4) RusKey requires no prior workload knowledge for system adjustment, in contrast to state-of-the-art techniques. Experiments show that RusKey exhibits strong performance robustness in diverse workloads, achieving up to 4x better end-to-end performance than the RocksDB system under various settings.

研究の動機と目的

• 変動するワークロード下でも高いパフォーマンスを維持する LSM ツリー基盤のキーバリュー・ストアの課題に対処すること。
• ワークロード特性の事前知識を必要としない、オンラインでワークロードに適応するシステムを設計すること。
• LSM ツリーにおけるコンパクションポリシー間の切り替えに伴う高い遷移コストを低減し、動的環境における主要なボトル neck を解消すること。
• 強化学習を用いて、LSM ツリーの複数のレベルにわたり、効率的かつスケーラブルなポリシー学習を実現すること。
• 異なるコンパクションポリシー間の切り替えを効率的かつ低コストで実現できる、LSM ツリーの新規変種 FLSM-tree を開発すること。

提案手法

• ポリシー適用とデータレイアウトを分離することで、異なるコンパクションポリシー間の切り替えを効率的に行える、新しい LSM ツリー設計 FLSM-tree を提案する。
• 各レベルごとの最適なコンパクションポリシーを学習するために、Deep Deterministic Policy Gradient（DDPG）を用いたレベルベースの強化学習フレームワーク Lerp を導入する。
• 上位レベルから下位レベルへポリシー知識を共有することで、ポリシー伝搬を実現し、サンプルの必要量を削減し、学習を高速化する。
• 各レベルごとにポリシー意思決定をモデル化することで、行動空間を縮小し、実行可能でスケーラブルな RL 学習を可能にする。
• 実時間でのポリシー学習を誘導するため、パフォーマンス指標（例：リード/ライトアンプリフィケーション、遅延）に基づく報酬関数を用いる。
• 最小限のランタイムオーバーヘッドでオンラインでのモデル更新を実装し、大多数のワークロードで合計処理コストの 1% 未満に抑える。

実験結果

リサーチクエスチョン

• RQ1 変動するワークロードに応じて、LSM ツリーのコンパクションポリシーを動的にチューニングするために強化学習を効果的に使用できるか？
• RQ2 LSM ツリーにおけるコンパクションポリシー間の切り替えに伴う高いコストを、リアルタイムの適応を可能にするためにどのように低減できるか？
• RQ3 ポリシー伝搬を備えたレベルベースの RL モデルは、少ない学習データと高速な収束を実現できるか？
• RQ4 提案された FLSM-tree の設計は、従来の LSM ツリーと比較して、ポリシー切り替えの効率をどのように向上させるか？
• RQ5 多様で動的なワークロード下で、RL を用いたシステムは、グリーディで静的なポリシー選択法をどの程度上回るか？

主な発見

• RusKey は、リード主体、ライト主体、バランス型の多様なワークロードにおいて、RocksDB より最大 4 倍の優れたエンドツーエンドパフォーマンスを達成している。
• システムは強力な頑健性を示し、ワークロードの種別に関係なく、事前のワークロード情報がなくてもほぼ最適なパフォーマンスを維持している。
• モデル更新コストは無視できるほど低く、高スループットのワークロード下でも平均して合計処理時間の 1% 未満にとどまっている。
• ポリシー伝搬により、サンプルの必要量が顕著に削減され、24 時間以内にブルートフォース手法が失敗する状況でも、有効な学習が可能になった。
• グリーディなポリシー選択法は、バランス型または混合ワークロードでは最適なパフォーマンスに到達できないが、RusKey は効果的に適応している。
• FLSM-tree の設計により、ポリシー切り替えの効率が向上し、コンパクション戦略の切り替えに伴う遅延とオーバーヘッドが低減された。