[논문 리뷰] Approximate Query Processing using Deep Generative Models

Saravanan Thirumuruganathan, Shohedul Hasan외 2명|arXiv (Cornell University)|2019. 03. 24.

Advanced Database Systems and Queries참고 문헌 45인용 수 14

한 줄 요약

이 논문은 근사 쿼리 처리(AQP)를 위한 딥 생성 모델링 접근법을 제안하며, 데이터에 대해 경량 변분 오토에인서(VAE)를 훈련시켜 기저 분포를 학습함으로써, 인터랙티브 데이터 탐색을 위한 빠르고 클라이언트 기반 샘플링을 가능하게 한다. 이 방법은 필요에 따라 합성 샘플을 생성함으로써 낮은 지연 시간과 높은 정확도를 달성하며, 거부 샘플링을 통해 모델 편향을 완화하고 앙상블 모델을 통해 정확도를 향상시켜 대규모 데이터셋에서 이전 방법들보다 확장성과 실시간 반응성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Data is generated at an unprecedented rate surpassing our ability to analyze them. The database community has pioneered many novel techniques for Approximate Query Processing (AQP) that could give approximate results in a fraction of time needed for computing exact results. In this work, we explore the usage of deep learning (DL) for answering aggregate queries specifically for interactive applications such as data exploration and visualization. We use deep generative models, an unsupervised learning based approach, to learn the data distribution faithfully such that aggregate queries could be answered approximately by generating samples from the learned model. The model is often compact - few hundred KBs - so that arbitrary AQP queries could be answered on the client side without contacting the database server. Our other contributions include identifying model bias and minimizing it through a rejection sampling based approach and an algorithm to build model ensembles for AQP for improved accuracy. Our extensive experiments show that our proposed approach can provide answers with high accuracy and low latency.

연구 동기 및 목표

• 작은 딥 생성 모델을 사용하여 AQP 계산을 클라이언트 측으로 이관함으로써 저지연, 인터랙티브 데이터 탐색을 가능하게 한다.
• 딥 생성 모델의 모델 편향 문제를 거부 샘플링 기반 기법을 통해 완화함으로써 AQP에서의 정확도를 향상시킨다.
• 동적 프로그래밍을 활용한 최적의 파artition 분할을 통해 여러 VAE를 훈련시켜 앙상블를 구성함으로써 쿼리 정확도를 향상시킨다.
• 대규모 실세계 데이터셋에서의 확장성과 효율성을 입증함으로써, 서버 접근 없이도 on-demand 샘플링을 가능하게 한다.
• 고정밀도로 임의의 집계 쿼리를 지원하는 기존의 샘플링 기반 AQP에 대한 실용적이고 경량의 대안을 제공한다.

제안 방법

• 전체 데이터셋에 대해 변분 오토에인서(VAE)를 훈련시어 기저 데이터 분포를 근사하는 저차원 잠재 표현을 학습한다.
• 훈련된 VAE에서 합성 샘플을 생성하여 원본 데이터에 접근하지 않고도 집계 쿼리(예: AVG, SUM, COUNT)에 응답한다.
• 진짜 데이터 분포에서 벗어나는 낮은 가능성의 샘플을 걸러내기 위해 거부 샘플링을 적용하여 모델 편향을 감소시킨다.
• 동적 프로그래밍을 사용하여 데이터의 최적 파artition를 식별하고, 여러 VAE를 훈련시켜 정확도를 향상시키는 앙상블를 구성한다.
• 파이토치(PyTorch)에서 벡터화된 샘플링을 구현하여 수 밀리초 내로 대규모 합성 샘플 세트를 신속하고 확장 가능하게 생성한다.
• 모델을 AQP 파이프라인에 통합하여 어떤 속성 조합의 부분집합에 대해서도 임의의 애드혹 집계 쿼리를 최소한의 지연으로 지원한다.

실험 결과

연구 질문

• RQ1 VAE와 같은 딥 생성 모델이 데이터 탐색에서 인터랙티브 AQP를 위해 복잡한 데이터 분포를 효과적으로 근사하는 데 사용될 수 있는가?
• RQ2 딥 생성 모델의 모델 편향 문제를 어떻게 최소화할 수 있는가? 이를 통해 AQP에서 정확한 집계 추정치를 확보할 수 있는가?
• RQ3 데이터를 어떻게 파artition하고 여러 생성 모델을 훈련시켜 AQP 정확도를 향상시킬 수 있는가?
• RQ4 제안된 모델 기반 AQP 접근법은 대규모 데이터셋에 대해 확장 가능하고 클라이언트 측에서 저지연 응답을 제공할 수 있는가?
• RQ5 기존의 샘플링 기반 및 서프로시스 기반 AQP 기법과 비교했을 때, 제안된 방법의 정확도 및 효율성은 어떠한가?

주요 결과

• 제안된 VAE 기반 AQP 접근법은 집계 쿼리에서 높은 정확도를 달성하며, 기준 샘플링 방법보다 추정 오차가 크게 낮다.
• 거부 샘플링은 모델 편향을 효과적으로 감소시켜 합성 샘플의 정밀도를 향상시키고, 더 정확한 집계 추정치를 도출한다.
• 최적의 파artition를 위한 동적 프로그래밍을 활용해 훈련된 모델 앙상블는 다양한 쿼리 유형에서 측정 가능한 정확도 향상을 이룬다.
• 훈련된 VAE 모델에서의 샘플링은 매우 효율적이며, 대규모 샘플 크기(예: 100만 튜플)일지라도 생성 시간이 수 밀리초 내로 이루어져 실시간 반응성을 확보한다.
• VAE 모델는 작고(수백 KB), 클라이언트 기기에서 배포가 가능하며, 서버 상호작용 없이 완전히 오프라인 AQP를 가능하게 한다.
• 이 방법은 대규모 데이터셋에서도 효율적으로 확장되며, 단일 GPU에서 몇 분 내로 훈련이 완료되며, 이는 이전 방법들인 MSPN에 비해 수 시간이 소요되는 것과 대비된다.