[論文レビュー] AsterixDB: A Scalable, Open Source BDMS

Sattam Alsubaiee, Yasser Altowim+21 more|arXiv (Cornell University)|Jul 2, 2014

Data Mining Algorithms and Applications被引用数 14

ひとこと要約

AsterixDBは、NoSQLの柔軟性とSQLのクエリパワーを統合したオープンソースでスケーラブルなビッグデータ管理システム（BDMS）であり、複雑なデータ型、セカンダリインデックス、継続的データインジェスト、ACIDに類似したトランザクションをサポートする。MongoDB や Hive といった成熟したシステムと比較しても競争力のあるパフォーマンスを達成しており、一元化されたプラットフォームが、スキーマ先行からスキーマなしのユースケースに至るまで多様なビッグデータワークロードを効率的に処理できることを示している。

ABSTRACT

AsterixDB is a new, full-function BDMS (Big Data Management System) with a feature set that distinguishes it from other platforms in today's open source Big Data ecosystem. Its features make it well-suited to applications like web data warehousing, social data storage and analysis, and other use cases related to Big Data. AsterixDB has a flexible NoSQL style data model; a query language that supports a wide range of queries; a scalable runtime; partitioned, LSM-based data storage and indexing (including B+-tree, R-tree, and text indexes); support for external as well as natively stored data; a rich set of built-in types; support for fuzzy, spatial, and temporal types and queries; a built-in notion of data feeds for ingestion of data; and transaction support akin to that of a NoSQL store. Development of AsterixDB began in 2009 and led to a mid-2013 initial open source release. This paper is the first complete description of the resulting open source AsterixDB system. Covered herein are the system's data model, its query language, and its software architecture. Also included are a summary of the current status of the project and a first glimpse into how AsterixDB performs when compared to alternative technologies, including a parallel relational DBMS, a popular NoSQL store, and a popular Hadoop-based SQL data analytics platform, for things that both technologies can do. Also included is a brief description of some initial trials that the system has undergone and the lessons learned (and plans laid) based on those early "customer" engagements.

研究の動機と目的

• スキーマの柔軟性、複雑なクエリ、スケーラブルなデータ管理をサポートする包括的なビッグデータ管理システム（BDMS）を設計・実装すること。
• 既存システムの限界（分析プラットフォームのストレージ不足、NoSQLストアの完全なクエリ言語の欠如、RDBMSのスキーマの柔軟性不足）を解消するため、それらの強みを統合すること。
• スケーラブルな共有なしアーキテクチャのクラスタ上で、半構造的でネストされた複雑なデータ（例：テキスト、空間的、時系列データ）を効率的に管理・クエリ可能にする。
• 組み込みのデータフィードを介した継続的データインジェストをサポートし、NoSQLストアに類似したトランザクションセマンティクスを提供すること。
• 多様なクエリタイプとデータインジェストワークロードにおいて、Hive、MongoDB、System-X といった既存システムと比較して、AsterixDBのパフォーマンスを評価すること。

提案手法

• AsterixDBは、スキーマ先行とスキーマなしの両方のユースケースをサポートするJSONベースの柔軟なデータモデル（ADM）を採用している。
• 複雑なジョイン、グループ化、ウィンドウ関数を含む、完全なSQLに類似した機能を備えた宣言的クエリ言語（AQL）を採用している。
• Hyracksを基盤とするスケーラブルかつ並列実行エンジンを採用し、水平スケーリングを実現する共有なしアーキテクチャを採用している。
• すべてのLSM（ログ構造マージ）構造に基づくストレージを採用しており、B+ツリー、Rツリー、フルテキストインデックスをサポートすることで、効率的なセカンダリインデクシングを実現している。
• 組み込みのデータフィードを介して継続的データインジェストをサポートし、最小限の遅延でリアルタイムデータロードを可能にしている。
• NoSQLスタイルのACIDモデルを用いてトランザクションをサポートし、更新および挿入の整合性と耐久性を確保している。

実験結果

リサーチクエスチョン

• RQ1 1つのBDMSが、NoSQLストア、並列RDBMS、ビッグデータ分析プラットフォームの能力を効果的に統合できるか。
• RQ2 多様なクエリタイプとデータインジェストワークロードにおいて、AsterixDBのパフォーマンスはHive、MongoDB、および商業用並列DBMS（System-X）と比較してどの程度か。
• RQ3 AsterixDBの柔軟なデータモデルと包括的な型システムは、ウェブデータウェアハウスやソーシャルメディア分析のような複雑な半構造的データワークロードをどの程度効果的にサポートできるか。
• RQ4 選択的クエリとフルテーブルスキャンの両方において、AsterixDBのインデクシングとクエリ最適化の効率性はいかがなものか。
• RQ5 クエリ実行およびデータインジェストにおけるパフォーマンスボトルネックは何か。それらはどのように緩和できるか。

主な発見

• インデックスなしのフルテーブルスキャンでは、AsterixDBのクエリパフォーマンスはHive、MongoDB、および商業用System-Xと同等である。
• セカンダリインデックスを活用することで、他のシステムと同等のパフォーマンスを達成しており、選択的クエリにおける効果的なインデックス利用が実証されている。
• 小スケール選択的クエリでは、ソート処理へのリミットプッシュダウンの欠如と、結果取得のオーバーヘッドにより、応答時間が長くなる傾向があるが、これらは現在最適化中である。
• バッチ挿入において、20件のバッチサイズでMongoDB や System-X を上回るパフォーマンスを達成しており、ジョブ生成のオーバーヘッドのより良い分散が要因である。
• バルクロードおよびデータフィード機能により、高ボリュームで継続的なデータインジェストにおいてもさらに優れたパフォーマンスを発揮し、リアルタイムワークロードに適している。
• 全体として、初期のベンチマークでは、AsterixDBが成熟したシステムと驚くほど競争力があることが示されており、1つのプラットフォームが幅広いビッグデータユースケースを効果的にサポートできるという主張を裏付けている。