[論文レビュー] The MADlib Analytics Library or MAD Skills, the SQL

Joe Hellerstein, Christopher Ré+9 more|arXiv (Cornell University)|Aug 21, 2012

Advanced Database Systems and Queries参考文献 36被引用数 51

ひとこと要約

MADlib は、データ移動を回避するため、並列データベース管理システム（DBMS）内での実行を可能にするオープンソースで SQL ベースの分析ライブラリである。このライブラリは、SQL およびユーザー定義関数（UDF）を用いてデータベース内にアルゴリズムを実行することで、スケーラブルな機械学習および統計計算を実現する。MADlib は、データベース内実行、並列処理、最適化された線形代数カーネルにより高いパフォーマンスを達成しており、Greenplum DBMS においては顕著な高速化が確認されている。

ABSTRACT

MADlib is a free, open source library of in-database analytic methods. It provides an evolving suite of SQL-based algorithms for machine learning, data mining and statistics that run at scale within a database engine, with no need for data import/export to other tools. The goal is for MADlib to eventually serve a role for scalable database systems that is similar to the CRAN library for R: a community repository of statistical methods, this time written with scale and parallelism in mind. In this paper we introduce the MADlib project, including the background that led to its beginnings, and the motivation for its open source nature. We provide an overview of the library's architecture and design patterns, and provide a description of various statistical methods in that context. We include performance and speedup results of a core design pattern from one of those methods over the Greenplum parallel DBMS on a modest-sized test cluster. We then report on two initial efforts at incorporating academic research into MADlib, which is one of the project's goals. MADlib is freely available at http://madlib.net, and the project is open for contributions of both new methods, and ports to additional database platforms.

研究の動機と目的

• スケーラブルなインメモリ分析の需要を満たすために、統計および機械学習手法の統合的でオープンソースのライブラリを提供すること。
• 学術的リサーチと産業利用のギャップを埋めるために、新規アルゴリズムを本番のデータベースシステムに統合できる仕組みを提供すること。
• データのエクスポートなしに大規模データ分析を実現するため、SQL および拡張可能な関数を用いて DBMS 内で直接アルゴリズムを実行すること。
• R の CRAN に類似した、コミュニティ主導のフレームワークを構築すること。ただし、スケーラブルで並列処理可能なデータベースシステムを対象として設計されている。
• データ移動や外部ツールの必要なしに、既存の企業向けデータインfraストラクチャに高度な分析をシームレスに統合できること。

提案手法

• DBMS 内で SQL ストアドプロシージャおよびユーザー定義関数（UDF）として統計および機械学習アルゴリズムを実装すること。
• 現代の DBMS（例：Greenplum）の並列で共有メモリなし（shared-nothing）アーキテクチャを活用し、複数ノードに跨る計算スケーリングを実現すること。
• データのディスク、メモリ、分散ノード間の移動を制御する宣言的 SQL を使用し、計算負荷の高いカーネル処理を高性能な C++ UDF にオフロードすること。
• 反復的アルゴリズム（例：共役勾配法、k-means）の高レベル制御を Python ドライバースクリプトで行い、データベース内処理を調整すること。
• スパースベクトル、配列演算、線形代数プリミティブをサポートするモジュラーよりも拡張性の高いライブラリを設計し、複雑なモデルの実現を可能にすること。
• C++ を基盤とする抽象化レイヤーにより、低レベルの DBMS 特有インターフェースを抽象化することで、異なる DBMS プラットフォーム間での移植性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 標準的な SQL ベースの DBMS 内で統計および機械学習アルゴリズムを効果的に表現・実行することで、データ移動を回避する方法は何か？
• RQ2 スケーラブルなインメモリ分析を実現するためのアーキテクチャパターンは何か？特に、教師ありおよび教師なし学習の両方を大規模に処理できる仕組みである。
• RQ3 SQL および UDF を用いたインメモリ実行は、Hadoop などの専用の大規模データフレームワークと同等のパフォーマンスを達成できるか？その程度は？
• RQ4 学術的リサーチにおけるデータサイエンスの知見を、再利用可能でオープンソースのライブラリを通じて生産環境のデータベースシステムに体系的に統合する方法は何か？
• RQ5 異種の DBMS プラットフォームにわたるインメモリ分析ライブラリの移植において、主な課題と設計上のトレードオフは何か？

主な発見

• MADlib は、線形回帰、ロジスティック回帰、k-means、SVD、LDA など、幅広い統計および機械学習手法を、SQL 対応 DBMS 内に直接実装している。
• インメモリ実行により顕著なパフォーマンス向上を達成しており、グリーンプラムクラスタ上でコアな計算パターンについて最大 10 倍の高速化が報告されている。
• 低レベルの線形代数演算にユーザー定義関数（UDF）を活用することで、効率的かつ高性能な計算が可能になり、異なるプラットフォーム間での移植性も維持されている。
• ライブラリの設計により、学術的リサーチの統合が容易になっており、初期段階で 2 つの研究ベースの手法がフレームワークに成功裏に統合された。
• MADlib のアーキテクチャは、メモリ内およびメモリ外実行を両方サポートしており、共有メモリなしの並列 DBMS で大規模データセットの処理をスケーラブルに実現できる。
• 本プロジェクトは、SQL ベースの分析が、パフォーマンスと開発生産性を重視する状況では、Hadoop MapReduce ような低レベルフレームワークの代替として実用的であることを示している。