[論文レビュー] Approximate Query Processing using Deep Generative Models

Saravanan Thirumuruganathan, Shohedul Hasan+2 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Database Systems and Queries参考文献 45被引用数 14

ひとこと要約

この論文は、近似クエリ処理（AQP）のための深層生成モデル手法を提案する。データ上で軽量な変分オートエンコーダー（VAE）を訓練し、その背後にある分布を学習することで、インタラクティブなデータ探索のための高速かつクライアント側でのサンプリングを可能にする。本手法は、必要に応じて合成サンプルを生成することで低遅延かつ高精度を達成し、リジェクションサンプリングによるモデルバイアスの低減と、モデルアンサンブルによる精度向上を実現する。大規模データセットにおいて、従来手法に比べてスケーラビリティとリアルタイム応答性に優れる。

ABSTRACT

Data is generated at an unprecedented rate surpassing our ability to analyze them. The database community has pioneered many novel techniques for Approximate Query Processing (AQP) that could give approximate results in a fraction of time needed for computing exact results. In this work, we explore the usage of deep learning (DL) for answering aggregate queries specifically for interactive applications such as data exploration and visualization. We use deep generative models, an unsupervised learning based approach, to learn the data distribution faithfully such that aggregate queries could be answered approximately by generating samples from the learned model. The model is often compact - few hundred KBs - so that arbitrary AQP queries could be answered on the client side without contacting the database server. Our other contributions include identifying model bias and minimizing it through a rejection sampling based approach and an algorithm to build model ensembles for AQP for improved accuracy. Our extensive experiments show that our proposed approach can provide answers with high accuracy and low latency.

研究の動機と目的

• クライアント側にAQPの計算を移管することで、コンactな深層生成モデルを用いた低遅延でインタラクティブなデータ探索を可能にすること。
• AQPに用いられる深層生成モデルにおけるモデルバイアスを、リジェクションサンプリングに基づく緩和手法によって是正すること。
• 分割データに対する動的計画法を用いた最適なモデルアンサンブルの構築により、クエリの精度を向上させること。
• 大規模な実世界データセットにおいて、サーバーへのアクセスなしにオンデマンドでサンプリングが可能な、本アプローチのスケーラビリティと効率性を実証すること。
• 任意の集計クエリを高精度でサポートする、実用的で軽量な従来のサンプリングベースAQPの代替手段を提供すること。

提案手法

• 完全なデータセット上で変分オートエンコーダー（VAE）を訓練し、真のデータ分布を近似する低次元の潜在表現を学習する。
• 訓練済みのVAEから合成サンプルを生成し、元のデータにアクセスせずに集計クエリ（例：AVG、SUM、COUNT）に応答する。
• 真のデータ分布から逸脱する低尤度のサンプルをフィルタリングすることで、モデルバイアスを低減するリジェクションサンプリングを適用する。
• 動的計画法を用いて、複数のVAEを訓練するための最適なデータパーティションを特定し、全体の推定精度を向上させるアンサンブルを構築する。
• PyTorchにおけるベクトル化されたサンプリングを実装し、数分の1秒未満で大規模な合成サンプル群を高速かつスケーラブルに生成可能にする。
• モデルをAQPパイプラインに統合し、任意の属性サブセットに対して、最小限の遅延で任意のアドホックな集計クエリをサポートする。

実験結果

リサーチクエスチョン

• RQ1 VAEのような深層生成モデルは、データ探索におけるインタラクティブなAQPのための複雑なデータ分布を効果的に近似できるか？
• RQ2 AQPにおける深層生成モデルのバイアスを最小限に抑えるには、どのようなアプローチが有効か？
• RQ3 推定精度を向上させるために、データをどのようにパーティション化し、複数の生成モデルを訓練すべきか？
• RQ4 提案されたモデルベースAQPアプローチは、大規模データセットにスケーリング可能であり、クライアント側で低遅延応答を提供できるか？
• RQ5 本手法の性能は、従来のサンプリングベースおよびサムネイルベースAQP手法と比較して、精度と効率の面で優れているか？

主な発見

• 提案されたVAEベースのAQPアプローチは、集計クエリにおいて高い精度を達成しており、ベースラインのサンプリング手法に比べて推定誤差が顕著に低い。
• リジェクションサンプリングはモデルバイアスを効果的に低減し、合成サンプルの忠実性を向上させ、結果としてより正確な集計推定を実現する。
• 最適なパーティションを動的計画法で特定し、複数のVAEを訓練したモデルアンサンブルは、多様なクエリタイプにおいて測定可能な推定精度の向上をもたらす。
• 訓練済みのVAEからのサンプリングは極めて効率的であり、100万タプルのような大規模なサンプルサイズに対しても数百ミリ秒の生成時間で実現可能で、リアルタイム応答性を満たす。
• VAEモデルはコンパクト（数百KB）であり、クライアントデバイスへのデプロイが可能で、サーバーとのやり取りなしに完全にオフラインでのAQPが実現可能である。
• 本アプローチは大規模データセットに対しても効率的にスケーリング可能であり、1台のGPUで数分で訓練が完了する。これに対して、MSPNのような従来手法は数時間も要するのに対し、顕著な改善が得られる。