[논문 리뷰] Query2Vec: An Evaluation of NLP Techniques for Generalized Workload Analytics

Shrainik Jain, Bill Howe외 2명|arXiv (Cornell University)|2018. 01. 17.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 SQL 쿼리와 최적화된 쿼리 계획의 조밀한 벡터 표현을 학습하는 일반적인 NLP 기반 프레임워크인 Query2Vec을 제안한다. 이를 통해 워크로드 분석 작업을 자동화한다. 원시 SQL 및 쿼리 계획에 Doc2Vec과 같은 기법을 적용함으로써, 전문화된 기능 엔지니어링 방법보다 뛰어난 성능을 보이며 워크로드 요약 및 오류 예측을 구현한다. 또한, 관련이 없는 워크로드 간 전이 학습을 지원한다.

ABSTRACT

We consider methods for learning vector representations of SQL queries to support generalized workload analytics tasks, including workload summarization for index selection and predicting queries that will trigger memory errors. We consider vector representations of both raw SQL text and optimized query plans, and evaluate these methods on synthetic and real SQL workloads. We find that general algorithms based on vector representations can outperform existing approaches that rely on specialized features. For index recommendation, we cluster the vector representations to compress large workloads with no loss in performance from the recommended index. For error prediction, we train a classifier over learned vectors that can automatically relate subtle syntactic patterns with specific errors raised during query execution. Surprisingly, we also find that these methods enable transfer learning, where a model trained on one SQL corpus can be applied to an unrelated corpus and still enable good performance. We find that these general approaches, when trained on a large corpus of SQL queries, provides a robust foundation for a variety of workload analysis tasks and database features, without requiring application-specific feature engineering.

연구 동기 및 목표

• 모던 클라우드 데이터베이스에서 수동이고 히우리스틱 기반의 기능 엔지니어링 없이도 대규모이고 이질적인 SQL 워크로드를 분석하는 데 점점 커지는 도전 과제를 해결한다.
• 다양한 데이터베이스 관리 및 사용자 생산성 작업을 지원하는 일반화된 자동화 프레임워크를 개발한다.
• 큰 코퍼스에서 학습함으로써, 응용 프로그램 전용 튜닝이 필요한 정도를 줄이기 위해 관련이 없는 SQL 워크로드 간 전이 학습을 가능하게 한다.
• 학습된 벡터 표현이 워크로드 요약 및 오류 예측 작업에서 전문화된 기능 기반 접근 방식과 견줄 만하거나 그 이상의 성능을 보일 수 있음을 입증한다.
• 쿼리 임베딩을 사용하여 향후 데이터베이스 지능 기능, 예를 들어 쿼리 추천, 런타임 예측, 스키마 통합 등의 기초를 마련한다.

제안 방법

• 원시 SQL 텍스트와 최적화된 쿼리 계획에 대해 Doc2Vec과 같은 사전 학습된 NLP 모델을 사용하여 SQL 쿼리의 조밀한 벡터 표현을 학습한다.
• 학습된 쿼리 벡터에 클러스터링을 적용하여 대규모 워크로드를 요약함으로써, 성능 손실 없이 인덱스 선택을 위한 요약을 가능하게 한다.
• 벡터 임베딩에 기반한 분류기를 학습하여 런타임 오류(예: 메모리 오버플로우)와 관련된 문법적 패턴을 탐지함으로써 자동 디버깅을 가능하게 한다.
• 큰 일반 SQL 코퍼스에서 사전 학습하고 목표 워크로드에서 미세 조정함으로써 전이 학습을 활용하여 다양한 도메인 간 성능을 유지한다.
• 트리 기반 표현을 가능하게 하는 고급 아키텍처인 TreeLSTM을 탐색하여, 텍스트 외에도 구조적 유사성을 포착한다.
• 학습된 임베딩을 후속 작업의 일반 기능으로 사용하여 데이터베이스 분석 파이프라인 내에서 수작업으로 만든 기능을 대체한다.

실험 결과

연구 질문

• RQ1 Doc2Vec과 같은 일반적인 NLP 기법이 응용 프로그램 전용 기능 엔지니어링을 능가하는 의미 있고 이식 가능한 SQL 쿼리 표현을 학습할 수 있는가?
• RQ2 SQL 쿼리 및 쿼리 계획의 벡터 표현이 성능 손실 없이 인덱스 선택을 위한 워크로드 요약에 얼마나 효과적인가?
• RQ3 학습된 임베딩이 메모리 오버플로우와 같은 런타임 오류와 관련된 미세한 문법적 패턴을 자동으로 탐지할 수 있는가?
• RQ4 한 SQL 코퍼스에서 학습한 모델이 오류 예측 및 워크로드 분석 작업에서 관련이 없는 워크로드로 일반화되는 정도는 어느 정도인가?
• RQ5 쿼리 임베딩이 쿼리 추천, 런타임 예측, 스키마 통합과 같은 새로운 데이터베이스 기능의 기초로 사용될 수 있는가?

주요 결과

• 일반화된 NLP 기반의 벡터 표현(예: Doc2Vec)이 워크로드 요약 및 오류 예측 작업에서 전문화된 기능 엔지니어링 접근 방식과 견줄 만하거나 그 이상의 성능을 보였다.
• 학습된 쿼리 벡터의 클러스터링을 통해 원래 워크로드와 성능 손실 없이 효과적인 워크로드 요약이 가능해졌으며, 이는 인덱스 선택에 유용했다.
• 쿼리 임베딩에 기반한 분류기가 메모리 오류와 관련된 문법적 패턴을 성공적으로 식별하여 자동 쿼리 디버깅을 가능하게 하였다.
• 전이 학습이 효과적으로 작동함을 입증: 한 SQL 코퍼스에서 사전 학습한 모델이 관련이 없는 워크로드에서도 뛰어난 성능을 보이며 일반화 능력을 입증하였다.
• 이 방법은 단일 공통 임베딩 모델을 사용하여 인덱스 추천, 오류 분석, 향후 런타임 예측 등의 다양한 후속 작업을 지원한다.
• 사전 학습된 Query2Vec 모델은 다양한 데이터베이스 시스템과 워크로드에서 재사용 가능하여, 맞춤형 기능 엔지니어링의 필요성을 줄이고 배포를 가속화한다.