[論文レビュー] SQLFlow: A Bridge between SQL and Machine Learning

Yi Wang, Yang Yang+12 more|arXiv (Cornell University)|Jan 19, 2020

Scientific Computing and Data Management参考文献 8被引用数 6

ひとこと要約

SQLFlow は、データベースと機械学習システムを接続するオープンソースの SQL 拡張であり、統一された SQL 語法を通じてエンドツーエンドの ML ワークフローを可能にする。SQL プログラムは Kubernetes ネイティブのワークフローにコンパイルされ、MySQL や Hive、MaxCompute などの多様なデータベースおよび TensorFlow や XGBoost、scikit-learn などの ML フレームワークをサポートし、SHAP やカスタムツールによるモデル解釈を含む学習、予測、モデル解釈を実現する。

ABSTRACT

Industrial AI systems are mostly end-to-end machine learning (ML) workflows. A typical recommendation or business intelligence system includes many online micro-services and offline jobs. We describe SQLFlow for developing such workflows efficiently in SQL. SQL enables developers to write short programs focusing on the purpose (what) and ignoring the procedure (how). Previous database systems extended their SQL dialect to support ML. SQLFlow (https://sqlflow.org/sqlflow ) takes another strategy to work as a bridge over various database systems, including MySQL, Apache Hive, and Alibaba MaxCompute, and ML engines like TensorFlow, XGBoost, and scikit-learn. We extended SQL syntax carefully to make the extension working with various SQL dialects. We implement the extension by inventing a collaborative parsing algorithm. SQLFlow is efficient and expressive to a wide variety of ML techniques -- supervised and unsupervised learning; deep networks and tree models; visual model explanation in addition to training and prediction; data processing and feature extraction in addition to ML. SQLFlow compiles a SQL program into a Kubernetes-native workflow for fault-tolerable execution and on-cloud deployment. Current industrial users include Ant Financial, DiDi, and Alibaba Group.

研究の動機と目的

• データサイエンティストやエンジニアが ML パイプラインを SQL で記述できるようにし、『どうやって』ではなく『何を』に焦点を当てる。
• 既存のデータベース拡張 SQL システムにおけるベンダーロックインと限られた拡張性の問題を克服する。
• 統一的でオープンソースのブリッジアーキテクチャを通じて、異種のデータベースおよび ML システム間の相互運用性を実現する。
• Kubernetes ネイティブのワークフローを用いたスケーラブルでフェイルセーフな実行モデルを提供し、産業用途の ML デプロイを実現する。
• 単一の SQL インターフェース内でモデル解釈、特徴量工学、および教師あり・教師なし学習をサポートする。

提案手法

• SQL 構文に `TO TRAIN`、`TO PREDICT`、`TO EXPLAIN` などの新しい句を拡張し、ML ワークフローを直接 SQL で表現する。
• 標準の SQL ダイアレクトと SQLFlow 構文拡張の両方のパーサーを統合する共同パースアルゴリズムを採用し、互換性を確保する。
• 2段階のコンパイルモデルを用いて SQL プログラムを Kubernetes ネイティブのワークフローにコンパイルする：静的 SQL から Couler への変換、次に Couler から YAML ワークフローへの生成。
• ワークフロー記述用のドメイン固有言語（DSL）として Couler Python ライブラリを活用し、ML 研究者が Python でワークフローを構築・デバッグできるようにする。
• Argo や Tekton などのワークフローオ케ストレーションエンジンを活用し、Kubernetes クラスタ上でフェイルセーフでスケーラブルな実行を実現する。
• SHAP やカスタムバックエンド（例：テキストベースの SHAP）といったモデル解釈ツールと統合し、視覚的およびプログラム可能なモデル解釈性を実現する。

実験結果

リサーチクエスチョン

• RQ1 統一された SQL 構文拡張は、複数のデータベースおよび ML フレームワークをカバーする多様な ML ワークフローを効果的に表現できるか？
• RQ2 SQL ベースのシステムは、ベンダーロックインを回避しつつ、異種のデータベースおよび ML システムとの相互運用性をどのように達成できるか？
• RQ3 SQLFlow のコンパイルスタック（SQL → Couler → YAML）は、直接の YAML や命令型コードと比較して、開発生産性およびワークフローの保守性をどの程度向上できるか？
• RQ4 SQLFlow は、一貫した SQL インターフェース内で教師あり・教師なし学習に加え、モデル解釈をサポートできるか？
• RQ5 SQLFlow のアーキテクチャは、生産環境における効率的でフェイルセーフかつスケーラブルな ML パイプライン実行をどのように実現できるか？

主な発見

• SQLFlow は SQL プログラムを Kubernetes ネイティブのワークフローに正しくコンパイルし、エンドツーエンドの ML パイプラインのフェイルセーフでスケーラブルな実行を実現した。
• 共同パースアルゴリズムにより、SQLFlow は MySQL や Hive、MaxCompute などの複数の SQL ダイアレクトおよび XGBoost や TensorFlow、scikit-learn などの ML エンジンと連携可能であり、下位層のシステムに変更を加える必要がない。
• 本システムは教師あり・教師なし学習の両方をサポートしており、モデルの学習、予測、SHAP や metaplot といったカスタムツールによる解釈も可能である。
• Jupyter Notebook やコマンドラインツール（例：`sqlflow compile`）との統合により、インタラクティブおよびプログラム指向のワークフローにおける使いやすさが実証された。
• Couler を Python DSL として用いることで、ML 研究者が複雑なパイプラインを効率的に構築・デバッグでき、明確な YAML へのコンパイルパスが確保された。
• デモでは、1つの SQL プログラムがローカル環境、Docker、クラウドなど複数の環境で実行可能であり、さまざまなデータベースや ML モデルと組み合わせられることを示し、本システムの多様性と拡張性を裏付けた。