[論文レビュー] Learning to Optimize Join Queries With Deep Reinforcement Learning

Sanjay Krishnan, Zongheng Yang+3 more|arXiv (Cornell University)|Aug 9, 2018

Optimization and Search Problems参考文献 50被引用数 82

ひとこと要約

本論文は DQ と呼ばれる深層強化学習ベースの最適化手法を提案する。結合検索戦略を学習して固定ヒューリスティクスを置換し、Calcite、PostgreSQL、SparkSQL に跨る学習を高速化しつつ競争力のある計画を実現する。

ABSTRACT

Exhaustive enumeration of all possible join orders is often avoided, and most optimizers leverage heuristics to prune the search space. The design and implementation of heuristics are well-understood when the cost model is roughly linear, and we find that these heuristics can be significantly suboptimal when there are non-linearities in cost. Ideally, instead of a fixed heuristic, we would want a strategy to guide the search space in a more data-driven way---tailoring the search to a specific dataset and query workload. Recognizing the link between classical Dynamic Programming enumeration methods and recent results in Reinforcement Learning (RL), we propose a new method for learning optimized join search strategies. We present our RL-based DQ optimizer, which currently optimizes select-project-join blocks. We implement three versions of DQ to illustrate the ease of integration into existing DBMSes: (1) A version built on top of Apache Calcite, (2) a version integrated into PostgreSQL, and (3) a version integrated into SparkSQL. Our extensive evaluation shows that DQ achieves plans with optimization costs and query execution times competitive with the native query optimizer in each system, but can execute significantly faster after learning (often by orders of magnitude).

研究の動機と目的

• 非線形結合コストと大規模な計画空間における固定ヒューリスティクスの限界を動機づける。
• 従来の最適化器フレームワーク内で結合検索戦略を学習するための強化学習アプローチを提案する。
• 最小限のコード変更で複数の DBMS に DQ システムを統合することを示す。
• 非線形コストモデル下で、データ駆動型の計画が計画時間と計画品質においてヒューリスティックのベースラインと同等またはそれを上回ることを示す。
• 結合最適化における最適部分構成を活用したデータ効率の高い学習を強調する。

提案手法

• 結合最適化をマルコフ決定過程として定式化する。状態はクエリグラフ、行動は結合である。
• Deep Q-学習を用いて、状態 G における結合 c に対して Q(G,c) を近似する。
• クエリグラフと結合を、属性のワンホット指標と選択・物理演算子の選択の包含を用いて特徴化する。
• 最適部分構造を活用して (G,c,J(c),G') サンプルを生成することで、ネイティブ最適化器からトレーニングデータを効率的に収集する。
• Calcite、PostgreSQL、SparkSQL における従来の計画探索モジュールの学習ベースの置換として DQ 最適化器を統合する。
• Join Order Benchmark および TPC-DS のワークロードで最小限のオーバーヘッドと任意の探索（epsilon-greedy）を許す形でオフライン学習を行う。
• サブプラン内の全結合にスコアを生成しトップ-k計画を可能にするため、方策ベース手法より Q-学習を用いることを正当化する。）

実験結果

リサーチクエスチョン

• RQ1 深層 RL モデルがデータ駆動の結合検索方針を学習し、異なるコストモデルやワークロードで良好に機能するか？
• RQ2 RL ベースの検索方針を統合すると、Calcite、PostgreSQL、SparkSQL におけるネイティブ最適化器と比較して計画時間と計画品質にどのような影響があるか？
• RQ3 このアプローチは固定ヒューリスティクスよりも非線形コスト挙動（例: メモリスピル、再利用可能なハッシュテーブル）をより頑健に扱えるか？
• RQ4 ネイティブ最適化器の最適部分構造データを用いた学習で、どれだけデータ効率を達成できるか？

主な発見

• DQ は一部のシナリオで全探索的な動的計画法の列挙より計画時間を最大で >200x 超高速化できる。
• DQ は各システムでネイティブ最適化器と競合する計画を提供する。
• DQ は非線形コストモデル下で、固定ヒューリスティクスより計画品質を substantial に改善できる（例: シミュレーションコストで 1.7x 〜 3x、6つのベースライン）。
• トレーニングデータはネイティブ最適化器の最適部分計画を活用して効率的に生成され、単一の計画から大規模なトレーニングデータセットを得られる。
• PostgreSQL および SparkSQL への統合は各システムにつきコード変更が 300 行未満で済んだ。
• DQ は計画速度の向上によりより広い計画空間（例: ブッシュ系計画や直積）を可能にし、実行時にも利得が見込まれる。