[論文レビュー] Efficient and Accurate In-Database Machine Learning with SQL Code Generation in Python

M. Kaufmann, Gabriel Stechschulte+1 more|arXiv (Cornell University)|Apr 7, 2021

Scientific Computing and Data Management参考文献 18被引用数 4

ひとこと要約

本論文は、Jinja2テンプレートマクロを用いてPythonからSQLコードを生成する、新しいデータベース内機械学習（IDBML）フレームワークを提案する。これにより、多次元確率推定が効率的かつ正確に行える。等確率ランクビニング（EQRB）と等幅ビニング（EWB）を導入し、scikit-learnの最良アルゴリズムと比較して高速な計算を実現しながら、決定木やランダムフォレストと比較して1-2%程度の精度の低下に抑える。

ABSTRACT

Following an analysis of the advantages of SQL-based Machine Learning (ML) and a short literature survey of the field, we describe a novel method for In-Database Machine Learning (IDBML). We contribute a process for SQL-code generation in Python using template macros in Jinja2 as well as the prototype implementation of the process. We describe our implementation of the process to compute multidimensional histogram (MDH) probability estimation in SQL. For this, we contribute and implement a novel discretization method called equal quantized rank binning (EQRB) and equal-width binning (EWB). Based on this, we provide data gathered in a benchmarking experiment for the quantitative empirical evaluation of our method and system using the Covertype dataset. We measured accuracy and computation time and compared it to Scikit Learn state of the art classification algorithms. Using EWB, our multidimensional probability estimation was the fastest of all tested algorithms, while being only 1-2% less accurate than the best state of the art methods found (decision trees and random forests). Our method was significantly more accurate than Naive Bayes, which assumes independent one-dimensional probabilities and/or densities. Also, our method was significantly more accurate and faster than logistic regression. This motivates for further research in accuracy improvement and in IDBML with SQL code generation for big data and larger-than-memory datasets.

研究の動機と目的

• 大容量でメモリに収まらないデータセットにおける従来のメモリ内機械学習の性能および拡張性の制限を解決すること。
• SQLを用いてデータベース内ですべての処理を実行することで、直接的に多次元確率推定を正確かつ効率的に行えるようにすること。
• 機械学習ワークフローに最適化されたSQLコードを自動生成するPythonベースのシステムを開発すること。
• 本手法の精度と性能を、最先端のscikit-learnアルゴリズムと比較して評価すること。
• 実証的ベンチマークを通じて、IDBMLがビッグデータワークロードに適しているかどうかを検討すること。

提案手法

• PythonにおけるJinja2テンプレートマクロを用いて、機械学習処理に適した効率的で実行可能なSQLコードを生成する。
• SQLを用いた多次元ヒストグラム（MDH）確率推定を実装し、データベース内での計算を可能にする。
• 確率推定の精度を向上させるために、新規の離散化手法「等確率ランクビニング（EQRB）」を導入する。
• 比較のためのベースラインとして、高速な計算と最小限の精度損失を実現する等幅ビニング（EWB）も実装する。
• データを直接データベース内で処理することで、データ移動を回避し、I/Oオーバーヘッドを削減する。
• パイプラインはCovertypeデータセットを用いて評価され、精度と実行時間はscikit-learnのベンチマークと比較される。

実験結果

リサーチクエスチョン

• RQ1 Pythonから生成されたSQLコードにより、大規模データセットにおける効率的かつ正確なデータベース内機械学習が可能になるか？
• RQ2 EQRBおよびEWBを用いた多次元確率推定の精度は、確立されたscikit-learnアルゴリズムと比較してどの程度か？
• RQ3 生成されたSQLを用いたデータベース内処理は、従来のメモリ内MLと比較してどの程度の性能向上を達成するか？
• RQ4 EQRBおよびEWB離散化手法は、多次元確率推定における精度と速度のトレードオフにどのように影響を与えるか？
• RQ5 SQLコード生成を用いたIDBMLは、メインメモリに収まらないデータセットを処理しても、性能劣化を示さないか？

主な発見

• 等幅ビニング（EWB）を用いることで、Covertypeデータセット上でテストされたすべてのアルゴリズムの中で、本手法が最も短い計算時間を達成した。
• EWBを用いたMDH確率推定は、決定木やランダムフォレストといった最先端の手法と比較して、わずか1-2%の精度の低下にとどまった。
• 独立した一次元確率仮定に依存するナイーブベイズと比較して、本手法は顕著に高い精度を示した。
• ロジスティック回帰と比較しても、本手法は速度と精度の両面で優れていた。ロジスティック回帰は遅く、精度も低かった。
• 結果から、ビッグデータ環境におけるSQLコード生成を用いたデータベース内機械学習の実現可能性が裏付けられた。
• ベンチマーク実験により、生成されたSQLを用いたデータベース内処理が、多次元分類タスクにおいて高い性能と精度を達成できることを確認した。