[论文解读] Query2Vec: NLP Meets Databases for Generalized Workload Analytics.

Shrainik Jain, Bill Howe|arXiv (Cornell University)|Jan 17, 2018

Data Quality and Management被引用 5

一句话总结

本文提出 Query2Vec，一种利用自然语言处理技术学习 SQL 查询和查询计划密集向量表示的方法，实现通用的工作负载分析。实验表明，这些嵌入表示在查询推荐、索引选择和工作负载摘要等任务中优于特定任务的启发式方法，而基于树形结构LSTM的方法在某些任务上进一步提升了性能。

ABSTRACT

We propose methods for learning vector representations of SQL workloads to support a variety of administration tasks and application features, including query recommendation, workload summarization, index selection, identifying expensive queries, and predicting query reuse. We consider vector representations of both raw SQL text and optimized query plans under various assumptions and pre-processing strategies, and evaluate these methods on multiple real SQL workloads by comparing with results of task and application feature metrics in the literature. We find that simple algorithms based on these generic vector representations compete favorably with previous approaches that require a number of assumptions and task-specific heuristics. We then present a new embedding strategy specialized for queries based on tree-structured Long Short Term Memory (LSTM) network architectures that improves on the text-oriented embeddings for some tasks. We find that the general approach, when trained on a large corpus of SQL queries, provides a robust foundation for a variety of workload analysis tasks. We conclude by considering how workload embeddings can be deployed as a core database system feature to support database maintenance and novel applications.

研究动机与目标

• 开发一种通用的、可学习的 SQL 工作负载表示方法，以支持多种数据库管理任务。
• 通过利用 SQL 文本和优化查询计划的通用向量嵌入，减少对特定任务启发式方法的依赖。
• 使用真实工作负载评估这些嵌入在多种工作负载分析任务中的有效性。
• 设计一种针对 SQL 查询结构的专用树形结构LSTM嵌入模型。
• 探索将工作负载嵌入作为数据库系统核心功能的可行性。

提出的方法

• 使用分布式词袋模型和跳字模型学习原始 SQL 文本的向量表示。
• 通过将优化后的查询计划视为结构化序列，生成其嵌入表示。
• 应用树形结构长短期记忆（LSTM）网络来建模 SQL 查询的层次语法树。
• 在大规模真实 SQL 查询语料库上训练嵌入，以捕捉语义和结构模式。
• 通过下游任务（如查询推荐和重用预测）评估嵌入表示。
• 在工作负载分析中与特定任务基线和基于启发式的方法进行性能比较。

实验结果

研究问题

• RQ1 通用的 SQL 查询和计划向量表示是否能在无需特定任务调优的情况下，有效支持多种工作负载分析任务？
• RQ2 不同的预处理策略和表示类型（文本 vs. 计划）在不同工作负载任务中的表现如何？
• RQ3 树形结构LSTM在多大程度上优于标准的基于文本的嵌入表示，用于 SQL 工作负载？
• RQ4 学习得到的嵌入是否能泛化到多种工作负载分析应用中，如索引选择和查询重用预测？
• RQ5 基于嵌入的工作负载分析在数据库系统中作为基础功能的潜力有多大？

主要发现

• 原始 SQL 文本和优化查询计划的简单向量表示在多种工作负载分析任务中表现优异，优于基于启发式的方法。
• 基于树形结构LSTM的嵌入方法在某些任务中表现更优，特别是在需要理解 SQL 语法结构的任务中。
• 在大规模 SQL 查询语料库上进行预训练可生成鲁棒的嵌入，能良好泛化到不同的数据库管理任务中。
• 所提出的方法减少了对特定任务启发式方法的依赖，同时在查询推荐和工作负载摘要任务中保持或提升了准确性。
• 在文本和计划表示上联合训练的嵌入在识别高成本和频繁重用的查询方面表现出色。
• 本研究证明了将工作负载嵌入作为核心系统功能集成到数据库系统中，以支持自动化数据库维护和智能应用的可行性。