[論文レビュー] Version 0.1 of the BigDAWG Polystore System

Vijay Gadepally, Kyle O’Brien+8 more|arXiv (Cornell University)|Jul 3, 2017

Scientific Computing and Data Management参考文献 19被引用数 9

ひとこと要約

本稿では、ポストグレSQL、アキュムロ、サイドビーデータベースを統合するミドルウェア層を介して異種ストレージエンジンを統合するオープンソースのポリストアデータベースシステムBigDAWG v0.1を提示する。特定のワークロードに最適化されたエンジンにデータをルーティングすることで顕著な性能向上を達成し、複雑なクロスエンジン操作におけるクエリのオーバーヘッドは約10%にとどまる。

ABSTRACT

A polystore system is a database management system (DBMS) composed of integrated heterogeneous database engines and multiple programming languages. By matching data to the storage engine best suited to its needs, complex analytics run faster and flexible storage choices helps improve data organization. BigDAWG (Big Data Working Group) is our reference implementation of a polystore system. In this paper, we describe the current BigDAWG software release which supports PostgreSQL, Accumulo and SciDB. We describe the overall architecture, API and initial results of applying BigDAWG to the MIMIC II medical dataset.

研究の動機と目的

• リレーショナル、アレイ、テキストデータなどの多様なデータ型を処理する能力に欠ける単一データベースシステムの限界を解消すること。
• 統合型データベースのスケーラビリティと複雑さの問題を克服し、単一のクエリインターフェースの下で複数の異種ストレージエンジンを統一すること。
• 最適化されたオプティマイザ、モニタ、エグゼキュータ、マイグレータコンponentsを備えたミドルウェア層を介して、効率的なクロスエンジン間のデータ移動とクエリ実行を可能にすること。
• MIMIC-IIデータセットを用いた実世界の医療データを対象に、システムの実用性と性能を実証すること。
• 研究開発を支援する目的で、BSD-3ライセンスでオープンソースリリースを提供すること。

提案手法

• ストレージエンジン、アイランド（データモデル別に論理的にグループ化されたエンジン群）、ミドルウェア（オプティマイザ、モニタ、エグゼキュータ、マイグレータ）、アプリケーションの4層構造としてBigDAWGをアーキテクチャ設計する。
• 異種ストレージエンジンへのアクセスを抽象化・統一する目的で「アイランド」を導入し、場所非依存性と意味的完全性を実現する。
• データ移行およびスキーマ変換を表現するための第一級言語的構造（例：bdcast、bdrel、bdarray）として「キャスト」を実装する。
• 高レベルのBigDAWGクエリをネイティブクエリ言語（例：ポストグレSQLではSQL、サイドビーデータベースではアレイDML）に変換するためのシャドウを活用する。
• 実行可能なプランツリーを生成するクエリオプティマイザと、履歴性能データに基づき最適なエンジンを選択するモニタを用いる。
• ネットワークディスpatch、フォーマット変換、データ送信を処理するマイグレータコンponentを介してアイランド間のデータ移動を実現する。

実験結果

リサーチクエスチョン

• RQ1 ポリストアアーキテクチャにおいて、性能のオーバーヘッドを最小限に抑えながら、異種データストアの効率的管理とクエリ処理を実現する方法は何か？
• RQ2 ポリストアアーキテクチャにおけるクロスエンジン間のデータマイグレーションおよびリモートクエリ実行の相対的コストはどの程度か？
• RQ3 BigDAWGのようなポリストアシステムは、複雑なマルチモデルワークロードにおいて、モノリシックまたは連合型データベースと比較してどの程度クエリ性能を向上させられるか？
• RQ4 システムのミドルウェア層は、場所非依存性と各ストレージエンジンの意味的機能を最大限に活用するバランスをどのようにとるか？
• RQ5 データフォーマット変換およびネットワークI/Oを伴うアイランド間クエリの実用的性能特性はどのようなものか？

主な発見

• BigDAWG v0.1は、共通のAPIおよびクエリインターフェースを備えたポリストアシステムとして、ポストグレSQL、アキュムロ、サイドビーデータベースを効果的に統合した。
• クエリ最適化および実行のオーバーヘッドは、合計実行時間の約10%にとどまり、複雑なクエリにおいてもランタイムコストが低いことが示された。
• 異なるストレージエンジン間（例：リレーショナルからアレイ）のデータマイグレーションを伴うアイランド間クエリは、ネットワークI/O、リモートプロシージャディスpatch、データ送信の影響で、合計実行時間の約75%を占める。
• 同じアイランド内（例：2つのリレーショナルデータベース間）のマイグレーションは、ネイティブデータ転送ルーチンにより著しく高速であるため、アイランド内での意味的同質性が性能向上に寄与することが明らかになった。
• アイランド間のデータ移動を伴うクエリは、単一エンジンクエリよりも遅延が高くなるが、各データ型に最適なエンジンを使用することで得られる性能向上が、オーバーヘッドを補って余りある。
• 複数の最適化されたストレージエンジンを活用することで、複雑な分析処理においては、オーダー・オブ・マグニチュードの性能向上が達成可能であることが、MIMIC-IIデータセットを用いた先行研究でも示された。