[論文レビュー] A Cloud-based Service for Real-Time Performance Evaluation of NoSQL Databases

Omar Almootassem, Syed Hamza Husain+2 more|arXiv (Cornell University)|May 23, 2017

Cloud Computing and Resource Management被引用数 8

ひとこと要約

本論文では、MongoDB、DynamoDB、CouchDB、Firebase などのNoSQLデータベースのリアルタイムでインタラクティブなパフォーマンス評価を可能にするクラウドベースのウェブサービスを提示する。ユーザーがテストタイプと対象データベースを選択することで、システムはリアルタイムにベンチマークを実行し、結果を歴史的データや地理的テスト位置と併せて表示する。これは、静的ベンチマークレポートとは対照的に動的な代替手段を提供する。

ABSTRACT

We have created a cloud-based service that allows the end users to run tests on multiple different databases to find which databases are most suitable for their project. From our research, we could not find another application that enables the user to test several databases to gauge the difference between them. This application allows the user to choose which type of test to perform and which databases to target. The application also displays the results of different tests that were run by other users previously. There is also a map to show the location where all the tests are run to give the user an estimate of the location. Unlike the orthodox static tests and reports conducted to evaluate NoSQL databases, we have created a web application to run and analyze these tests in real time. This web application evaluates the performance of several NoSQL databases. The databases covered are MongoDB, DynamoDB, CouchDB, and Firebase. The web service is accessible from: nosqldb.nextproject.ca.

研究の動機と目的

• 複数のシステムにまたがるNoSQLデータベースのパフォーマンスを比較するためのインタラクティブでリアルタイムなツールの不足を解消すること。
• 複数のNoSQLデータベースを同時にカスタムパフォーマンステストできる動的プラットフォームを提供すること。
• 過去のテストからの結果を集約・表示することで、データドリブンなデータベース選定を支援すること。
• ネットワーク遅延の推定を支援するため、テスト実行ノードの地理的分布を可視化することで透明性を高めること。
• 従来の静的ベンチマークレポートよりも使いやすさと応答性に優れた、ライブでウェブベースのインターフェースを提供すること。

提案手法

• システムは、パブリックURLからアクセス可能なクラウドホスティング型のウェブアプリケーションとして実装されている。
• ユーザーは事前に定義されたテストタイプ（例：挿入、読み取り、更新、削除）から選択し、対象となるNoSQLデータベースを選べる。
• テストはクラウドベースのインfraストラクチャを用いてリアルタイムに実行され、一貫性があり再現可能な環境を確保する。
• パフォーマンスメトリクス（例：遅延、スループット）は各テスト実行後に即座に収集され、可視化される。
• 歴史的テスト結果は保存され、ユーザー間や設定間での比較が可能に公開されている。
• 地理的マップを用いて、テスト実行ノードの物理的位置を表示し、ネットワーク遅延の推定を支援する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてNoSQLデータベースのリアルタイムパフォーマンス評価をエンドユーザーがインタラクティブかつアクセス可能にすることができるか？
• RQ2 一般的なワークロード下での人気のあるNoSQLデータベース間のパフォーマンス差は何か？
• RQ3 共有型のクラウドベースプラットフォームは、NoSQLベンチマークの透明性と再現性を向上させることができるか？
• RQ4 テストノードの地理的分布は、ユーザーが感じるデータベースパフォーマンスにどのように影響するか？
• RQ5 ライブでユーザー主導のテストは、静的で事前に計算されたベンチマークレポートに比べてどの程度優れているか？

主な発見

• このサービスにより、MongoDB、DynamoDB、CouchDB、Firebase の4つの主要なNoSQLデータベースのリアルタイムパフォーマンス評価が可能になった。
• ユーザーは複数のデータベースをカスタムワークロードで実行・比較でき、即座なフィードバックを受け取ることができる。
• 歴史的テスト結果は公開されており、パフォーマンスのトレンドを比較し、意思決定を支援できる。
• システムは、テスト実行ノードの物理的位置を示す地理的マップを提供しており、遅延の推定を支援する。
• このプラットフォームは静的ベンチマークに代わる動的な代替手段を提供し、使いやすさと現実世界での関連性を向上させた。
• 要約では、具体的な定量的パフォーマンスメトリクス（例：遅延値やスループットレート）は報告されていない。