[論文レビュー] Database Learning: Toward a Database that Becomes Smarter Every Time

Yongjoo Park, Ahmad Shahab Tajik+2 more|arXiv (Cornell University)|Mar 16, 2017

Advanced Database Systems and Queries参考文献 76被引用数 35

ひとこと要約

この論文では、過去の近似クエリ結果から学習することで、時間の経過とともに高速かつ正確になるようにデータベースを学習可能にする、新しいフレームワークであるDatabase Learning (DBL) を紹介する。最大エントロピーの原則を用いて、DBLは元のデータ分布の統計モデルを構築・精緻化し、Verdict—Spark SQLに基づくクエリエンジン—が新しいクエリをより効率的に、より小さなサンプルで回答できるようにする。これにより、従来のAQPシステムと比較して、同じ精度で最大23.0倍の高速化が達成される。

ABSTRACT

In today's databases, previous query answers rarely benefit answering future queries. For the first time, to the best of our knowledge, we change this paradigm in an approximate query processing (AQP) context. We make the following observation: the answer to each query reveals some degree of knowledge about the answer to another query because their answers stem from the same underlying distribution that has produced the entire dataset. Exploiting and refining this knowledge should allow us to answer queries more analytically, rather than by reading enormous amounts of raw data. Also, processing more queries should continuously enhance our knowledge of the underlying distribution, and hence lead to increasingly faster response times for future queries. We call this novel idea---learning from past query answers---Database Learning. We exploit the principle of maximum entropy to produce answers, which are in expectation guaranteed to be more accurate than existing sample-based approximations. Empowered by this idea, we build a query engine on top of Spark SQL, called Verdict. We conduct extensive experiments on real-world query traces from a large customer of a major database vendor. Our results demonstrate that Verdict supports 73.7% of these queries, speeding them up by up to 23.0x for the same accuracy level compared to existing AQP systems.

研究の動機と目的

• 従来のデータベースでは過去のクエリ作業が廃棄されるが、これを再利用できるようにするため。
• 近似クエリ結果から学習し、元のデータ分布の理解を精緻化できるようにするため。
• 履歴クエリ結果から得られる統計モデルを活用することで、将来のクエリの応答時間を短縮するため。
• 原理的かつ正確かつ高速な近似回答を提供できる、幅広い分析的SQLクエリのクラスをサポートするため。
• より多くのクエリが処理されるにつれて、継続的に精度と性能が向上するシステムを開発するため。

提案手法

• システムは最大エントロピーの原則を用いて、過去のクエリ結果と整合する最も可能性の高いデータ分布を推定し、不確実性下での最適な正確性を保証する。
• 各クエリを元のデータ分布に対する線形制約の集合として定式化することで、反復的ソルバーを用いずに解析的推論が可能になる。
• 従来のアプローチが指数的増大を引き起こすのを避けるために、多次元空間における重複するクエリ範囲をO(n)の変数でモデル化する。
• Spark SQL上で実装されたクエリエンジンであるVerdictは、これらのモデルを統合し、モデル推論と最小限のサンプリングを組み合わせて新しいクエリに応答する。
• システムは各クエリの後でモデルを動的に更新し、信頼区間を精緻化することで、時間の経過とともに正確性が向上する。
• 厳密なクエリ包含や物化ビューを必要とせず、複数カラムの集計や重複する範囲をサポートする。

実験結果

リサーチクエスチョン

• RQ1 過去の近似クエリ結果を体系的に活用することで、将来のクエリの性能と正確性を向上させることは可能か？
• RQ2 データベースがクエリ結果から学習することで、時間の経過とともに完全なデータスキャンに依存する必要を減らす方法は何か？
• RQ3 重複するクエリ結果から効率的でスケーラブルかつ正確なモデル精緻化を可能にする統計フレームワークは何か？
• RQ4 モデルベースのアプローチは、従来のサンプリングベースのAQPと比較して、速度と正確性の面でどれほど優れているか？
• RQ5 データベースシステムがクエリ作業からの段階的学習を通じて、継続的な性能向上を達成できるか？

主な発見

• Verdictは、大手企業顧客のクエリログから得た現実世界の分析的クエリの73.7％をサポートする。
• 同じ精度レベルにおいて、オンライン集計ベースのAQPシステムと比較して、Verdictは最大23.0倍の高速化を達成する。
• システムのモデル正確性は、新しいクエリが追加されるたびに向上し、時間の経過とともにデータサンプリングの必要性が低下する。
• 最大エントロピーアプローチにより、O(n)の変数で解析的推論が可能となり、従来のO(2^n)の複雑さを回避する。
• 事前に滑らかさや構造を仮定せずとも、データ相関を自然に捉えることができる。
• 物化ビュー や COSMOS と比較して、厳密な包含関係を必要とせず、重複する複数カラムクエリをサポートする点で優れている。