[论文解读] A Unified Transferable Model for ML-Enhanced DBMS

Zi‐Niu Wu, Pei Yu+7 more|arXiv (Cornell University)|May 6, 2021

Data Management and Algorithms参考文献 48被引用 6

一句话总结

本文提出 MTMLF，一种用于机器学习增强型数据库管理系统（DBMS）的统一可迁移模型，通过多任务学习捕捉任务共享知识，并采用预训练/微调范式提炼跨数据库元知识。在查询优化任务上，MTMLF 在一个全新、未见过的数据库上实现比 PostgreSQL 快 40.6% 的查询执行速度，证明其在云数据库环境中的强大可迁移性与实用性。

ABSTRACT

Recently, the database management system (DBMS) community has witnessed the power of machine learning (ML) solutions for DBMS tasks. Despite their promising performance, these existing solutions can hardly be considered satisfactory. First, these ML-based methods in DBMS are not effective enough because they are optimized on each specific task, and cannot explore or understand the intrinsic connections between tasks. Second, the training process has serious limitations that hinder their practicality, because they need to retrain the entire model from scratch for a new DB. Moreover, for each retraining, they require an excessive amount of training data, which is very expensive to acquire and unavailable for a new DB. We propose to explore the transferabilities of the ML methods both across tasks and across DBs to tackle these fundamental drawbacks. In this paper, we propose a unified model MTMLF that uses a multi-task training procedure to capture the transferable knowledge across tasks and a pre-train fine-tune procedure to distill the transferable meta knowledge across DBs. We believe this paradigm is more suitable for cloud DB service, and has the potential to revolutionize the way how ML is used in DBMS. Furthermore, to demonstrate the predicting power and viability of MTMLF, we provide a concrete and very promising case study on query optimization tasks. Last but not least, we discuss several concrete research opportunities along this line of work.

研究动机与目标

• 解决现有基于机器学习的 DBMS 解决方案在每个新数据库上均需从零开始重新训练模型所导致的效率低下与不切实际的问题。
• 通过在多个数据库之间提炼与数据库无关的元知识，克服机器学习增强型 DBMS 中的“冷启动”问题。
• 通过捕捉如 selectivity estimation、cost estimation 和 query optimization 等相互依赖的 DBMS 任务之间的共享知识，提升模型有效性与数据效率。
• 通过预训练与微调框架，最小化数据需求与重训练成本，实现机器学习在云数据库服务中的实际部署。

提出的方法

• 提出一种多任务学习流程，联合训练多个 DBMS 任务，使模型能够学习共享表征与任务间依赖关系。
• 设计一种预训练与微调框架，其中共享模型在多样化数据库上进行预训练，以提取与数据库无关的元知识。
• 为每个数据库设计特征化模块，以捕捉表统计信息与数据分布等特定于数据集的特征。
• 应用元学习技术，仅使用少量训练样本，即可将提炼出的元知识迁移到新数据库。
• 将任务特定模块与共享表征相结合，支持在单一统一模型中处理多种 DBMS 工作负载。
• 利用现有查询工作负载与 AQP 技术，高效训练单表查询特征，实现模型的快速适应。

实验结果

研究问题

• RQ1 统一的机器学习模型能否有效实现跨不同数据库管理系统（DBMS）的知识迁移，从而减少在新数据库上从头开始重新训练的需求？
• RQ2 跨相互依赖的 DBMS 任务（如 selectivity estimation 与 query optimization）共享知识，如何提升模型效率与性能？
• RQ3 在仅需极少微调的情况下，从多个数据库中提炼出的元知识的预训练模型，能在多大程度上泛化到全新、未见过的数据库？
• RQ4 在 DBMS 任务之间进行多任务训练，是否因提升数据效率与模型泛化能力，而优于专用任务模型？

主要发现

• 通过元学习方法（MLA）训练的 MTMLF-QO 在全新、未见过的数据库上，相比 PostgreSQL 实现了 40.6% 的查询执行时间加速。
• 在相同测试数据库上从零开始训练的模型（MTMLF-QO single）仅实现 44.3% 的性能提升，表明预训练的元知识显著减少了对大规模重训练的需求。
• 预训练的共享表征（S）与任务特定模块（T）成功捕捉了可在 11 个不同数据库间迁移的与数据库无关的知识。
• 每个数据库的特征化模块通过单表查询与 AQP 技术高效训练，实现了可扩展且快速的适应能力。
• 模型在查询优化任务上的表现表明，跨任务与跨数据库的知识迁移显著提升了模型有效性与数据效率。
• 结果验证了预训练与微调范式在云数据库服务中的可行性与前景，尤其在结合联邦学习实现隐私保护训练时更具优势。