[论文解读] Efficient and Accurate In-Database Machine Learning with SQL Code Generation in Python

M. Kaufmann, Gabriel Stechschulte+1 more|arXiv (Cornell University)|Apr 7, 2021

Scientific Computing and Data Management参考文献 18被引用 4

一句话总结

本文提出了一种新颖的数据库内机器学习（IDBML）框架，通过使用Jinja2模板宏将Python代码转换为SQL代码，实现高效且精确的多维概率估计。该框架引入了等量化秩分箱（EQRB）和等宽分箱（EWB）两种离散化方法，在保持比决策树和随机森林低1-2%准确率的同时，计算速度优于scikit-learn的顶尖算法。

ABSTRACT

Following an analysis of the advantages of SQL-based Machine Learning (ML) and a short literature survey of the field, we describe a novel method for In-Database Machine Learning (IDBML). We contribute a process for SQL-code generation in Python using template macros in Jinja2 as well as the prototype implementation of the process. We describe our implementation of the process to compute multidimensional histogram (MDH) probability estimation in SQL. For this, we contribute and implement a novel discretization method called equal quantized rank binning (EQRB) and equal-width binning (EWB). Based on this, we provide data gathered in a benchmarking experiment for the quantitative empirical evaluation of our method and system using the Covertype dataset. We measured accuracy and computation time and compared it to Scikit Learn state of the art classification algorithms. Using EWB, our multidimensional probability estimation was the fastest of all tested algorithms, while being only 1-2% less accurate than the best state of the art methods found (decision trees and random forests). Our method was significantly more accurate than Naive Bayes, which assumes independent one-dimensional probabilities and/or densities. Also, our method was significantly more accurate and faster than logistic regression. This motivates for further research in accuracy improvement and in IDBML with SQL code generation for big data and larger-than-memory datasets.

研究动机与目标

• 解决传统内存内机器学习在大规模、超出内存的数据集上面临的性能与可扩展性限制。
• 通过SQL直接在数据库内实现准确且高效的多维概率估计。
• 开发一种基于Python的系统，自动为机器学习工作流生成优化的SQL代码。
• 将该方法的准确率与运行时间与最先进的scikit-learn算法进行对比评估。
• 通过实验基准测试探索IDBML在大数据工作负载中的可行性。

提出的方法

• 该方法使用Python中的Jinja2模板宏生成高效且可执行的SQL代码，用于机器学习操作。
• 通过SQL实现多维直方图（MDH）概率估计，支持数据库内计算。
• 提出一种新颖的离散化技术——等量化秩分箱（EQRB），以提升概率估计的准确性。
• 同时实现等宽分箱（EWB）作为对比基线，提供快速计算且准确率损失最小。
• 系统直接在数据库中处理数据，避免数据移动，降低I/O开销。
• 使用Covertype数据集对流水线进行评估，测量其准确率与运行时间，并与scikit-learn基准进行对比。

实验结果

研究问题

• RQ1 从Python生成SQL代码是否能够实现对大规模数据集的高效且准确的数据库内机器学习？
• RQ2 通过EQRB和EWB实现的多维概率估计准确率与成熟的scikit-learn算法相比如何？
• RQ3 使用生成的SQL进行数据库内处理相比传统内存内机器学习，性能提升如何？
• RQ4 EQRB与EWB离散化方法在多维概率估计中对准确率与速度之间的权衡有何影响？
• RQ5 IDBML结合SQL代码生成是否能够在数据量超过主内存的情况下仍保持性能不下降？

主要发现

• 使用等宽分箱（EWB）时，该方法在Covertype数据集上所有测试算法中运行时间最短。
• MDH概率估计结合EWB仅比表现最佳的先进方法（如决策树和随机森林）低1-2%的准确率。
• 该方法在准确率上显著优于朴素贝叶斯，后者依赖于独立的一维概率假设。
• 与逻辑回归相比，该方法在速度和准确率上均表现更优，后者速度更慢且准确率更低。
• 结果验证了使用SQL代码生成实现大数据场景下数据库内机器学习的可行性。
• 基准实验确认，使用生成SQL的数据库内处理可在多维分类任务中实现高性能与高准确率。