[论文解读] In-Database Learning with Sparse Tensors

Mahmoud Abo Khamis, Hung Q. Ngo+3 more|arXiv (Cornell University)|Mar 14, 2017

Data Management and Algorithms被引用 5

一句话总结

本文提出了一套统一框架，可直接在关系型数据库中使用稀疏张量操作，对统计学习模型（如岭回归、多项式回归、因子分解机和PCA）进行训练和评估。通过将关系型数据库技术与线性代数方法相结合，该方法消除了昂贵的数据导出循环，实现了高效的数据库内学习，并在实际零售预测应用中展现出显著的性能提升。

ABSTRACT

In-database analytics is of great practical importance as it avoids the costly repeated loop data scientists have to deal with on a daily basis: select features, export the data, convert data format, train models using an external tool, reimport the parameters. It is also a fertile ground of theoretically fundamental and challenging problems at the intersection of relational and statistical data models. This paper introduces a unified framework for training and evaluating a class of statistical learning models inside a relational database. This class includes ridge linear regression, polynomial regression, factorization machines, and principal component analysis. We show that, by synergizing key tools from relational database theory such as schema information, query structure, recent advances in query evaluation algorithms, and from linear algebra such as various tensor and matrix operations, one can formulate in-database learning problems and design efficient algorithms to solve them. The algorithms and models proposed in the paper have already been implemented and deployed in retail-planning and forecasting applications, with significant performance benefits over out-of-database solutions that require the costly data-export loop.

研究动机与目标

• 消除传统机器学习工作流中常见的昂贵数据导出循环，即数据在数据库与外部工具之间反复移动的问题。
• 通过在数据库内执行广泛类别的学习模型，弥合关系型数据库系统与统计学习模型之间的鸿沟。
• 开发一个可扩展且高效的计算框架，结合数据库查询优化与张量代数，用于统计学习。
• 在实际应用（如零售规划与预测）中证明数据库内学习的实用性和性能优势。
• 将多种学习模型——包括岭回归、多项式回归、因子分解机和PCA——统一于单一数据库内计算范式之下。

提出的方法

• 利用关系型数据库的模式信息与查询结构，将学习任务表示为经过优化的关系代数表达式。
• 采用先进的查询执行算法，高效计算学习模型所需的稀疏张量与矩阵运算。
• 将学习模型表示为稀疏张量上的操作，以最小化存储与计算开销。
• 融合关系代数技术与线性代数原语（如张量分解与低秩近似）。
• 利用数据库系统的查询优化器，将学习计算下推并并行化执行于数据库引擎内部。
• 完全在数据库内支持模型训练与评估，避免数据移动与格式转换。

实验结果

研究问题

• RQ1 能否设计出一个统一框架，实现在关系型数据库内直接训练与评估多种统计学习模型？
• RQ2 如何在关系型数据库查询执行模型中高效表达与优化稀疏张量操作？
• RQ3 在真实机器学习流水线中，消除数据导出循环能带来多大的性能提升？
• RQ4 标准数据库优化技术在多大程度上可扩展以支持统计学习工作负载？
• RQ5 与传统的数据库外方法相比，所提出的数据库内算法在效率与可扩展性方面表现如何？

主要发现

• 所提出的框架成功实现了在关系型数据库内直接训练与评估岭回归、多项式回归、因子分解机和PCA。
• 通过避免数据导出与格式转换，数据库内方法显著降低了I/O与数据移动开销。
• 将稀疏张量操作与数据库查询优化相结合，已在生产级零售预测系统中带来可测量的性能提升。
• 该框架证明了复杂学习工作负载可原生使用标准SQL与关系代数表达并执行。
• 与传统数据库外流水线相比，该方法在迭代性与特征密集型学习场景中实现了显著的效率提升。
• 该方法已在生产环境中部署，并在真实世界的零售规划与预测应用中被证明有效。