[論文レビュー] DBA bandits: Self-driving index tuning under ad-hoc, analytical workloads with safety guarantees

R. Malinga Perera, Bastian Oetomo+2 more|arXiv (Cornell University)|Oct 19, 2020

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、動的で一時的な分析ワークロード下でリアルタイムにデータベースインデックスを最適化する自己走行型インデックスチューニングシステムであるDBA Banditsを提案する。マルチアームバンディット（MAB）強化学習を用い、誤ったコストモデルに依存せず、観測されたクエリ実行性能から直接学習することで、最先端の商業ツールと比較して最大75%のクエリ実行速度向上を達成し、性能収束に関する理論的保証を提供する。

ABSTRACT

Automating physical database design has remained a long-term interest in database research due to substantial performance gains afforded by optimised structures. Despite significant progress, a majority of today's commercial solutions are highly manual, requiring offline invocation by database administrators (DBAs) who are expected to identify and supply representative training workloads. Unfortunately, the latest advancements like query stores provide only limited support for dynamic environments. This status quo is untenable: identifying representative static workloads is no longer realistic; and physical design tools remain susceptible to the query optimiser's cost misestimates (stemming from unrealistic assumptions such as attribute value independence and uniformity of data distribution). We propose a self-driving approach to online index selection that eschews the DBA and query optimiser, and instead learns the benefits of viable structures through strategic exploration and direct performance observation. We view the problem as one of sequential decision making under uncertainty, specifically within the bandit learning setting. Multi-armed bandits balance exploration and exploitation to provably guarantee average performance that converges to a fixed policy that is optimal with perfect hindsight. Our comprehensive empirical results demonstrate up to 75% speed-up on shifting and ad-hoc workloads and 28% speed-up on static workloads compared against a state-of-the-art commercial tuning tool.

研究の動機と目的

• 動的で一時的な分析ワークロードにおける手動およびオフライン物理的データベース設計の限界を解消すること。
• 一様なデータ分布や属性の独立性といった仮定に基づく誤ったコスト推定を行うクエリオプティマイザに依存する問題を克服すること。
• コストモデルではなく実際の性能観測から学ぶオンラインで自己走行型のインデックス選択システムを構築すること。
• 過去の最良固定方策に対する性能に関する理論的セーフティ保証を提供すること。
• 変化し予測不能なワークロードにおいて、商業ツールよりも優れた頑健性と優位性を示すこと。

提案手法

• 各アームが候補となるインデックス構成に対応するマルチアームバンディット問題としてオンラインインデックス選択を定式化する。
• 補正済みのリグレット解析を用いたC2UCBバンディットアルゴリズムを採用し、探索と活用のバランスを保ちつつ理論的性能バウンドを保証する。
• 実際のクエリ実行時間（実行時間）を報酬信号として直接使用し、クエリオプティマイザのコスト推定に依存しない。
• 初期状態ではインデックスを一切持たない（コールドスタート）状態から始め、繰り返しの実行とフィードバックを通じて各構成の価値を段階的に学習する。
• 実用的なシステムへの導入を保証するため、実行可能なインデックス構成の数をメモリ制約Mで制限する。
• 実行統計情報のみを必要とするため、既存のDBMSに統合可能であり、プラグアンドプレイでの導入が可能である。

実験結果

リサーチクエスチョン

• RQ1 DBAが提供するワークロードに依存せずに、一時的で動的な分析ワークロードにおいて自己走行型インデックスチューニングシステムが顕著な性能向上を達成できるか？
• RQ2 コストモデルが不正確であっても、マルチアームバンディットがオンラインインデックス選択において保証可能な性能を提供できるか？
• RQ3 深層強化学習（例：DDQN）や商業ツールと比較して、MABベースのアプローチは収束速度と性能においてどのように異なるか？
• RQ4 データの偏りや予測不能なクエリパターン下でも、システムは頑健性を維持できるか？
• RQ5 MABフレームワークは、インデックス選択を超えて、物化ビュー や統計情報といった他の物理的設計選択へも拡張可能か？

主な発見

• DBA Banditsは、最先端の商業ツールと比較して、動的で一時的なワークロードにおいて最大75%のクエリ実行速度向上を達成した。
• 静的ワークロードでは平均28%の速度向上を達成し、ワークロードタイプを問わず一貫した改善を示した。
• 深層Qネットワーク（DDQN）ベースラインと比較して、収束速度が早く、学習が速く、性能の安定性も優れていた。
• データの偏りや予測不能なクエリシーケンス下でも、システムは頑健な性能を維持し、実世界の条件でも耐性があることを実証した。
• C2UCBバンディットの補正済みリグレット解析により、理論的セーフティ保証が得られ、平均性能が最適な固定方策からの有界な距離内に収束することが証明された。
• モデル仮定に依存せず、実行時観測に依存するため、生産環境、特にマルチテナントおよびHTAPシステムへの導入が可能である。