[論文レビュー] Towards a Unified Architecture for in-RDBMS Analytics

Xixuan Feng, Arun Kumar+2 more|arXiv (Cornell University)|Mar 12, 2012

Advanced Database Systems and Queries参考文献 26被引用数 5

ひとこと要約

この論文では、RDBMSにおけるユーザー定義集約関数（UDA）を活用して、ロジスティック回帰、SVM、行列分解などの凸最適化に基づく解析手法を、最小限のコード（Cでたった10行程度）で実装できる統合アーキテクチャ「Bismarck」を提案する。主な貢献は、データの順序付け、並列処理、多重リザボワーサンプリングを活用することで、ネイティブなRDBMS分析ツールと同等またはそれ以上の性能を実現する汎用的かつ高性能なフレームワークを構築したことである。

ABSTRACT

The increasing use of statistical data analysis in enterprise applications has created an arms race among database vendors to offer ever more sophisticated in-database analytics. One challenge in this race is that each new statistical technique must be implemented from scratch in the RDBMS, which leads to a lengthy and complex development process. We argue that the root cause for this overhead is the lack of a unified architecture for in-database analytics. Our main contribution in this work is to take a step towards such a unified architecture. A key benefit of our unified architecture is that performance optimizations for analytics techniques can be studied generically instead of an ad hoc, per-technique fashion. In particular, our technical contributions are theoretical and empirical studies of two key factors that we found impact performance: the order data is stored, and parallelization of computations on a single-node multicore RDBMS. We demonstrate the feasibility of our architecture by integrating several popular analytics techniques into two commercial and one open-source RDBMS. Our architecture requires changes to only a few dozen lines of code to integrate a new statistical technique. We then compare our approach with the native analytics tools offered by the commercial RDBMSes on various analytics tasks, and validate that our approach achieves competitive or higher performance, while still achieving the same quality.

研究の動機と目的

• RDBMSにおける新しい分析手法の実装にかかる高い開発および保守コストを低減するため、現在は各アルゴリズムごとに一時的なカスタム実装を必要としている問題に対処すること。
• ロジスティック回帰、SVM、行列分解、カルマンフィルタなど、多様な分析ワークロードを、RDBMS内でのみ再利用可能な1つのアーキテクチャに統合すること。
• 既存のデータベース機能を再利用することで、商用およびオープンソースのRDBMSに新しい統計的手法を統合する際の複雑さと時間を大幅に削減すること。
• 並列実行や効率的なデータアクセスパターンといった、RDBMSに最適化された機能を活用することで、ネイティブな分析ツールと同等またはそれ以上のパフォーマンスを実現すること。
• PostgreSQLおよび2つの商用システムを含む複数のRDBMSプラットフォームで、フレームワークの実現可能性とパフォーマンスを検証すること。

提案手法

• 主に逐次勾配降下（IGD）で解ける凸プログラミング問題として分析タスクを表現し、これはSQL集約関数と類似したデータアクセスパターンを持つ。
• すべての主要なRDBMSに標準搭載されているユーザー定義集約（UDA）関数を用いてIGDおよびその他の分析アルゴリズムを実装し、既存のクエリプランや最適化とシームレスに統合できるようにすること。
• ロックを回避し、モデルの渡し込みオーバーヘッドを低減するため、NoLockおよびAIG変種を備えた共有メモリ型UDA並列処理モデルを導入し、マルチコアシステム上で効率的かつスケーラブルに実行できるようにすること。
• メモリに収まらない大規模データセットにおいて収束速度を向上させるために、多重リザボワーサンプリング（MRS）方式を設計・導入し、サブサンプリングやクラスタ化されたデータアクセスを上回ること。
• データストレージの順序最適化と、RDBMSの並行制御およびクエリ最適化の活用により、多様な分析ワークロード全体のパフォーマンスを向上させること。
• PostgreSQLおよび2つの商用システムを含む複数のRDBMSと、Classify300MおよびMatrix5Bなどのデータセットを用いて、アーキテクチャの一般性とスケーラビリティを検証すること。

実験結果

リサーチクエスチョン

• RQ1 標準的なRDBMS機能のみを用いて、広範なクラスのRDBMS内分析手法を統合できるアーキテクチャを構築できるか？
• RQ2 データストレージの順序が、IGDのような反復的分析アルゴリズムのRDBMS内パフォーマンスにどのように影響するか？
• RQ3 単一ノードのマルチコアシステムにおけるUDAベース分析の並列化戦略（例：ロック対NoLock）のパフォーマンスへの影響は何か？
• RQ4 軽量で多重化されたリザボワーサンプリング方式は、ディスク上に格納された大規模データに対する収束速度を向上させ、実行時間を短縮できるか？
• RQ5 提案されたBismarckアーキテクチャのパフォーマンスは、商用RDBMSにネイティブに実装された分析ツールと比べてどうか？

主な発見

• Bismarckは、商用RDBMSのネイティブ分析ツールと同等またはそれ以上のパフォーマンスを達成し、NoLock並列化方式を用いることで線形のスループット向上（線形スケーリング）を実現した。
• NoLock共有メモリ型UDA並列処理は、同期のオーバーヘッドを低減したため、ロック方式や純粋なUDAアプローチを上回り、マルチコアシステムで線形のスループット向上を達成した。
• 多重リザボワーサンプリング（MRS）は、サブサンプリングやクラスタ化されたデータアクセスを上回り、大規模データセットにおいて2倍の最適目的値に到達するまでの実行時間を最大80％短縮した。
• Classify300Mデータセットでは、BismarckにMRSを適用した場合、MADlibが3時間以上かかっていたのに対し、45分で同じ目的値に到達した。
• Matrix5B上での複雑なLMFタスクでは、Bismarckは数時間で完了したが、MADlibは1週間以上経過しても終了しなかった。
• 新しい分析手法の統合には10～50行のCコードで十分であり、開発コストの顕著な削減が実証された。