[論文レビュー] ML-AQP: Query-Driven Approximate Query Processing based on Machine Learning

Fotis Savva, Christos‐Nikolaos Anagnostopoulos+1 more|arXiv (Cornell University)|Mar 14, 2020

Data Quality and Management被引用数 6

ひとこと要約

ML-AQP は、従来実行されたクエリとその結果のみを用いて、データアクセスを伴わずに近似集約クエリ結果を予測する軽量でクエリ駆動の機械学習システムを提案する。ベクトル化されたクエリ表現上でコンパクトなモデルを学習することで、5桁の速度向上を達成しつつ、誤差率も低く抑え、誤差の上限を示す予測区間を提供する。

ABSTRACT

As more and more organizations rely on data-driven decision making, large-scale analytics become increasingly important. However, an analyst is often stuck waiting for an exact result. As such, organizations turn to Cloud providers that have infrastructure for efficiently analyzing large quantities of data. But, with increasing costs, organizations have to optimize their usage. Having a cheap alternative that provides speed and efficiency will go a long way. Concretely, we offer a solution that can provide approximate answers to aggregate queries, relying on Machine Learning (ML), which is able to work alongside Cloud systems. Our developed lightweight ML-led system can be stored on an analyst's local machine or deployed as a service to instantly answer analytic queries, having low response times and monetary/computational costs and energy footprint. To accomplish this we leverage the knowledge obtained by previously answered queries and build ML models that can estimate the result of new queries in an efficient and inexpensive manner. The capabilities of our system are demonstrated using extensive evaluation with both real and synthetic datasets/workloads and well known benchmarks.

研究の動機と目的

• クラウドベースのデータウェアハウスにおける正確なクエリ処理の高コストと遅延を軽減し、高速で近似された結果を提供すること。
• 探索的データ分析において高価なクラウドインフラに依存するのを減らし、計算をローカルに移行すること。
• MIN や MAX といった集約関数を含むすべての集約関数をサポートする、軽量で低消費メモリのシステムを提供すること。これらの関数は、既存の AQP 手法でしばしば不十分に扱われる。
• データやクエリワークロードの変化に対しても、分位数回帰を用いて誤差の境界を提供することで、予測の信頼性を保証すること。
• トレーニング時および推論時におけるデータアクセスを完全に排除することで、プライバシー保護が可能で、効率的なシステムを実現すること。

提案手法

• クエリがその構造とフィルタ条件を捉えるカスタムのベクトル化表現に変換される。
• 履歴のクエリ-結果ペアに基づいて機械学習モデルをトレーニングし、クエリパターンから集約結果へのマッピングを学習する。
• 低メモリ消費量と高速トレーニングを確保するため、単純で解釈可能なモデル（例：線形モデル）が使用される。
• 誤差の保証を提供するため、予測区間は分位数回帰を用いて構築される。
• 再トレーニングを完全に再開することなく、データおよびクエリワークロードのインクリメンタルな更新をサポートする。
• アプローチは AF-無関係であるため、SUM、AVG、COUNT、MIN、MAX を含む任意の集約関数のサポートが可能である。

実験結果

リサーチクエスチョン

• RQ1 過去のクエリ-結果ペアのみでトレーニングされた機械学習システムは、下位データにアクセスせずに高速かつ正確な近似結果を提供できるか？
• RQ2 このようなシステムは、既存の AQP エンジンと比較して、速度、正確性、リソース使用量の面でどのように異なるか？
• RQ3 データやクエリワークロードが時間経過とともに変化しても、精度と低誤差境界を維持できるか？
• RQ4 サンプリングベースの AQP にとって難しいとされる MIN や MAX を含む多様な集約関数に、どの程度一般化できるか？
• RQ5 このクエリ駆動のアプローチは、データ駆動の機械学習ベース AQP システムと比較して、トレーニングおよび推論のオーバーヘッドがどの程度か？

主な発見

• ML-AQP は正確な処理と比較して、クエリ応答時間に最大 5 桁の高速化を達成し、計算コストは最小限に抑えられる。
• BK-Austin データセットでは、ML-AQP は相対絶対誤差 (RAE) 3.9% を達成し、より単純なモデルを使用しても NeuralCubes (3.88%) をわずかに上回った。
• BK-NYC データセットでは、ML-AQP は RAE 3.6% を達成し、NeuralCubes (4.25%) を上回り、類似条件でも優れた正確性を示した。
• ML-AQP は、弱いハードウェアでも NeuralCubes より 10 倍以上速くモデルをトレーニングできる。これは、軽量でクエリ中心のアプローチによるものである。
• このシステムは、MIN や MAX を含むすべての集約関数をサポートしており、既存の AQP 技法でしばしば不十分に近似される関数に対しても有効である。
• 分位数回帰によって生成された予測区間は信頼性のある誤差境界を提供し、ユーザーが近似結果の正確性を評価できるようにする。