[論文レビュー] The Case for Automatic Database Administration using Deep Reinforcement Learning

Ankur Sharma, Felix Schuhknecht+1 more|arXiv (Cornell University)|Jan 17, 2018

Optimization and Search Problems参考文献 5被引用数 43

ひとこと要約

本論文は NoDBA を提案する。ワークロードからのインデックス推奨を学習することで自動的に DBMS を調整する深層強化学習システムであり、限られたインデックスでも競争力の性能を実現し、訓練後の予測が高速である。

ABSTRACT

Like any large software system, a full-fledged DBMS offers an overwhelming amount of configuration knobs. These range from static initialisation parameters like buffer sizes, degree of concurrency, or level of replication to complex runtime decisions like creating a secondary index on a particular column or reorganising the physical layout of the store. To simplify the configuration, industry grade DBMSs are usually shipped with various advisory tools, that provide recommendations for given workloads and machines. However, reality shows that the actual configuration, tuning, and maintenance is usually still done by a human administrator, relying on intuition and experience. Recent work on deep reinforcement learning has shown very promising results in solving problems, that require such a sense of intuition. For instance, it has been applied very successfully in learning how to play complicated games with enormous search spaces. Motivated by these achievements, in this work we explore how deep reinforcement learning can be used to administer a DBMS. First, we will describe how deep reinforcement learning can be used to automatically tune an arbitrary software system like a DBMS by defining a problem environment. Second, we showcase our concept of NoDBA at the concrete example of index selection and evaluate how well it recommends indexes for given workloads.

研究の動機と目的

• 多数の設定パラメータを備えた大規模な DBMS のチューニングの難しさと助言ツールの限界を動機づける。
• 深層強化学習（DRL）を用いた DBMS 管理の自動化フレームワークを提案する。
• 特定のワークロードに対する自動インデックス選択に DRL を適用して NoDBA を実証する。
• 合成ワークロードにおいて NoDBA がノーインデックスおよび全カラムのインデックス化と比較してどうであるかを評価する。

提案手法

• 入力、行動、報酬、ハイパーパラメータを含む DBMS 管理の DRL 環境を定義する。
• ワークロードと現在のインデックス構成をニューラルネットワークの入力としてエンコードする。
• アクションを特定のカラムにインデックスを作成すること（単一カラム・インデックス）に制限する。
• 空のインデックス構成に対するワークロードコストの改善に基づく報酬を定義し、cost(L) を用いて報酬 r(L) を計算する。
• 経験再生を伴うエピソード型強化学習を用いて訓練し、PostgreSQL のTPC-H LINEITEM スキーマから構築した合成ワークロードで評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習を用いて特定のワークロードに対して DBMS の設定を自動的に調整できるか。
• RQ2 DRL で学習された自動インデックス選択は、ノーインデックスおよび全ての可能なインデックスを持つ場合と比べてどれほど効果的か。
• RQ3 この設定における NoDBA のパフォーマンス影響（訓練時間、予測待機時間）はどうか。
• RQ4 NoDBA のアプローチは、異なるワークロードやスキーマ構成に対してどの程度一般化できるか。

主な発見

ワークロード	NoIndex (ms)	IndexedAll (ms)	NoDBA (ms)
W1 Total	2681.347	214.121	213.587
W2 Total	2629.970	1207.002	543.251
W3 Total	3668.311	1871.112	3376.955

• NoDBA は選択的なワークロード（W1 および W2）で NoIndex のベースラインと同等、または上回り、IndexedAll に近づく。
• 最も要求の厳しいワークロード（W3）では、3 個のインデックスの小さな集合が NoIndex より大幅に性能を改善した。
• ネットワークの訓練には約 42 分を要し、訓練後の予測は約 20 ms である。
• NoDBA は PostgreSQL の TPC-H LINEITEM で評価され、さまざまなシナリオを網羅するようランダムな訓練ワークロードを使用した。
• 本研究は、DRL が潜在的に誤ったコストベースの推定に頼ることなく DBMS を調整できることを示している。